Узбекская модель RoBERTa для предсказания пропущенных слов в текстах на кириллице и латинице.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
UzRoBERTa — предобученная языковая модель узбекского языка, опубликованная Фатимой Адиловой, Рифкатом Давроновым, Самариддином Кушмуратовым и Рузматом Сафаровым. Она основана на архитектуре RoBERTa и содержит 96,6 млн параметров; модель предобучена на примерно 2 млн новостных статей объёмом около 3 ГБ.
Модель предназначена для предсказания пропущенных слов в узбекских текстах на кириллице и латинице. Её можно применять для восстановления маскированных фрагментов, подбора вариантов продолжения предложения и анализа контекста на узбекском языке. Контекст ограничен 512 токенами; модель доступна в формате PyTorch и решает задачу fill-mask.
Модель не предназначена для генерации длинных текстов или предсказания следующих предложений целиком: примеры показывают заполнение маскированного фрагмента. Её обучение на новостных текстах может ограничивать точность на других жанрах и предметных областях. Лицензия — Apache-2.0.
Модель предсказывает замаскированные фрагменты, а не генерирует длинные тексты или следующие предложения целиком. Предобучение на новостных статьях может ограничивать её точность на текстах других жанров и тематик.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Pre-prepared model in Uzbek (Cyrillic and latin script) to model the masked language and predict the next sentences.
You can use this model directly with a pipeline for masked language modeling:
UzBERT model was pretrained on ≈2M news articles (≈3Gb).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…