Небольшая RoBERTa для белорусского языка, обученная на CC-100 и предназначенная для заполнения пропусков и дообучения на языковых задачах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал небольшую модель RoBERTa, предварительно обученную на корпусе CC-100 для белорусского языка. Это плотная трансформерная модель с 17,9 млн параметров и контекстом до 128 токенов; она предназначена для заполнения пропусков в тексте и может служить основой для дообучения на задачах разметки частей речи, синтаксического анализа зависимостей и других задачах обработки белорусского языка.
Модель принимает текст с маскированным токеном и предсказывает подходящее заполнение. Для использования доступны веса PyTorch и загрузка через Transformers. Распространяется по лицензии CC-BY-SA-4.0, требующей указания авторства и сохранения той же лицензии при распространении производных материалов.
Контекст ограничен 128 токенами. Для разметки частей речи и синтаксического анализа модель нужно дообучить на соответствующих данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a RoBERTa model pre-trained on CC-100. You can fine-tune roberta-small-belarusian for downstream tasks, such as POS-tagging, dependency-parsing, and so on.
from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-small-belarusian")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/roberta-small-belarusian")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…