Каталонская модель RoBERTa для предсказания замаскированных слов в контексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ClassCat/roberta-base-catalan — языковая модель семейства RoBERTa, представленная ClassCat. Это плотная модель для восстановления замаскированных токенов: она предсказывает пропущенное слово или часть слова по окружающему контексту. Модель содержит 151,6 млн параметров, использует настройки RoBERTa base с изменённым размером словаря и BPE-токенизатором на 50 000 токенов; контекст — до 514 токенов.
Модель обучена на каталонской Википедии и каталонской части корпуса CC-100. Она предназначена для задач заполнения пропусков и анализа каталонского текста с маскированными токенами. Доступна в формате PyTorch и используется через Transformers.
Лицензия — CC BY-SA 4.0. Карточка не приводит оценок качества и подробных ограничений применения.
Модель обучена на каталонских данных и рассчитана на контекст до 514 токенов. В карточке нет опубликованных оценок качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
transformers==4.19.2
This model uses RoBERTa base setttings except vocabulary size.
Using BPE tokenizer with vocabulary size 50,000.
from transformers import pipeline
unmasker = pipeline('fill-mask', model='ClassCat/roberta-base-catalan')
unmasker("Jo <mask> japonès.")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…