Франкоязычная модель RoBERTa для предсказания пропущенных токенов в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ClassCat/roberta-base-french — франкоязычная модель семейства RoBERTa, представленная ClassCat. Это трансформерный энкодер для заполнения пропусков в тексте: модель предсказывает вероятные варианты вместо маскированного токена, например в предложении на французском языке. Модель имеет около 151,6 млн параметров, использует BPE-токенизатор с размером словаря 50 000 и контекст до 514 токенов.
Модель обучена на французской Википедии wiki40b и подмножестве CC-100/fr. Её можно применять для восстановления пропущенных слов и анализа контекста во французских текстах. В карточке указан формат PyTorch и лицензия CC-BY-SA-4.0. Она предназначена для предсказания токенов в тексте, а не для генерации длинных ответов или диалогов.
Модель предсказывает пропущенные токены, а не генерирует связные длинные ответы или ведёт диалог. Обучающие данные ограничены французской Википедией и подмножеством CC-100/fr.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
transformers==4.19.2
This model uses RoBERTa base setttings except vocabulary size.
Using BPE tokenizer with vocabulary size 50,000.
from transformers import pipeline
unmasker = pipeline('fill-mask', model='ClassCat/roberta-base-french')
unmasker("Je vais à la <mask>.")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…