Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: roberta · dense
Опубликована: 11 июл 2022

Ссылки

Hugging Face

recipe-roberta-upper-Is

paola-md

Заполнение пропусковТекст → текст3 профессии

Дообученная RoBERTa-модель для восстановления замаскированных слов и токенов в тексте.

66скачиваний за 30 дней0лайковвеса обновлены11 июл 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

paola-md/recipe-roberta-upper-Is — дообученная модель на основе roberta-base для предсказания замаскированных токенов в тексте. Она подходит для восстановления пропусков и подсказок при вводе текста. Модель содержит 151,8 млн параметров, использует архитектуру RoBERTa и принимает последовательности длиной до 514 токенов.

В README приведён результат оценки Loss 0,7757, однако набор данных и область применения не описаны. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT.

Сценарии применения

восстановление пропущенного слова в предложении
подсказки при заполнении пропусков в тексте
получение вероятных вариантов для замаскированного токена

Ограничения

В README не описаны обучающие данные и предполагаемая область применения; приведён только результат Loss 0,7757, который сам по себе не позволяет оценить качество на практических задачах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

recipe-roberta-upper-Is

This model is a fine-tuned version of roberta-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.7757

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 256
eval_batch_size: 256
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
1.2455	1.0	1228	1.0420
1.0812	2.0	2456	0.9641
1.018	3.0	3684	0.9220
0.977	4.0	4912	0.8943
0.9451	5.0	6140	0.8726
0.9254	6.0	7368	0.8574
0.9074	7.0	8596	0.8404
0.8944	8.0	9824	0.8290
0.8797	9.0	11052	0.8258
0.869	10.0	12280	0.8115
0.8609	11.0	13508	0.8085
0.8522	12.0	14736	0.7995
0.8462	13.0	15964	0.7958
0.8414	14.0	17192	0.7891
0.8374	15.0	18420	0.7856
0.8327	16.0	19648	0.7850
0.8268	17.0	20876	0.7784
0.8256	18.0	22104	0.7802
0.822	19.0	23332	0.7789
0.8219	20.0	24560	0.7757

Framework versions

Transformers 4.19.0.dev0
Pytorch 1.11.0+cu102
Datasets 2.3.2
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: e85b20c