Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: roberta · dense
Опубликована: 11 июл 2022

Ссылки

Hugging Face

recipe-roberta-upper-tIs

paola-md

Заполнение пропусковТекст → текст3 профессии

Дообученная на базе roberta-base модель для предсказания замаскированных токенов и восстановления пропусков в тексте.

71скачиваний за 30 дней0лайковвеса обновлены12 июл 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

paola-md/recipe-roberta-upper-tIs — дообученная модель семейства RoBERTa для задачи заполнения пропусков в тексте. Она основана на roberta-base и содержит 151,8 млн параметров; доступна в формате PyTorch. Модель предсказывает замаскированные токены с учётом окружающего текста и может использоваться для восстановления пропусков и языковых экспериментов.

Для модели указана лицензия MIT. Карточка приводит значение loss 0,7904 на наборе оценки, но не описывает данные обучения, детали оценки или ограничения. Контекст составляет 514 токенов. Язык и специализированная предметная область в доступных данных не указаны.

Сценарии применения

восстановление пропущенного слова в предложении
подбор токена для маскированного фрагмента текста
языковые эксперименты с предсказанием токенов

Ограничения

Карточка не описывает обучающие данные и ограничения модели; приведён только loss 0,7904 без подробностей оценки. Язык применения по имеющимся данным определить нельзя.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

recipe-roberta-upper-tIs

This model is a fine-tuned version of roberta-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.7904

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 256
eval_batch_size: 256
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
1.2671	1.0	1281	1.0554
1.0995	2.0	2562	0.9832
1.0339	3.0	3843	0.9389
0.9925	4.0	5124	0.9095
0.964	5.0	6405	0.8914
0.9426	6.0	7686	0.8708
0.9227	7.0	8967	0.8590
0.9082	8.0	10248	0.8448
0.8963	9.0	11529	0.8361
0.8847	10.0	12810	0.8249
0.8756	11.0	14091	0.8204
0.8672	12.0	15372	0.8105
0.8612	13.0	16653	0.8106
0.8561	14.0	17934	0.8041
0.8485	15.0	19215	0.7979
0.8452	16.0	20496	0.7910
0.8403	17.0	21777	0.7991
0.8389	18.0	23058	0.7928
0.8371	19.0	24339	0.7926
0.8341	20.0	25620	0.7904

Framework versions

Transformers 4.19.0.dev0
Pytorch 1.11.0+cu102
Datasets 2.3.2
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: d849044