Характеристики
- Контекст
- 514 токенов
- Параметры
- 152 млн
- Лицензия
- CC BY-SA 4.0
- Архитектура
- roberta · dense
- Опубликована
- 2 мар 2022
Ссылки
roberta_jan_512_ncc
Модель RoBERTa от Nasjonalbiblioteket AI Lab предсказывает пропущенные токены по контексту текста.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
NbAiLab/roberta_jan_512_ncc — языковая модель семейства RoBERTa от Nasjonalbiblioteket AI Lab. Она предназначена для заполнения пропусков в тексте: по контексту предсказывает, какие токены могут стоять на месте маски. Модель имеет около 151,8 млн параметров, использует архитектуру RobertaForMaskedLM и поддерживает последовательности длиной до 514 токенов. Доступны веса в формате Flax; модель можно использовать через Transformers с задачей fill-mask.
Карточка модели не содержит описания обучающих данных или поддерживаемых языков, поэтому область её языковой специализации установить нельзя. Модель распространяется по лицензии CC BY-SA 4.0.
Сценарии применения
- Подстановка пропущенного слова в предложении
- Получение вариантов токена для маскированного фрагмента
- Анализ контекстных языковых представлений
Ограничения
Карточка модели не указывает поддерживаемые языки и обучающие данные. Модель предназначена для предсказания замаскированных токенов, а не для свободной генерации текста.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
В репозитории нет весов в формате PyTorch/safetensors.
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- d074148