Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Архитектура: roberta · dense

Ссылки

roberta-base-10M-1

Заполнение пропусковТекст → текст3 профессии

Производная модели nyu-mll/roberta-med-small-1M-1. Компактная англоязычная RoBERTa, предварительно обученная на 1 млн токенов и предназначенная для предсказания скрытых слов в тексте.

78скачиваний за 30 дней2лайкавеса обновлены20 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели nyu-mll/roberta-base-10M-1 на Hugging Face совпадает с карточкой nyu-mll/roberta-med-small-1M-1, поэтому описание составлено по ней.

Это компактная RoBERTa, выпущенная NYU Machine Learning for Language Lab (NYU-MLL) в рамках эксперимента по предварительному обучению языковых моделей на небольших корпусах. Модель содержит 50,9 млн параметров и обучена на корпусе объёмом около 1 млн токенов: англоязычной Wikipedia и воспроизведении BookCorpus из текстов Smashwords в соотношении примерно 3:1. Репозиторий включает веса PyTorch и Flax.

Модель предназначена для заполнения пропусков в англоязычном тексте: она предсказывает скрытый токен в контексте, например при проверке языковых представлений или демонстрации masked language modeling. Контекст составляет 514 токенов. Карточка описывает серию исследовательских экспериментов с разными объёмами обучающих данных; конкретно эта версия представляет вариант на 1 млн токенов.

Из-за небольшого обучающего корпуса модель может уступать более крупным современным моделям по точности и обобщению; карточка не приводит оценок для прикладных сценариев. Лицензия в предоставленных данных не указана.

Сценарии применения

предсказание пропущенного слова в английском предложении
демонстрация работы masked language modeling
эксперименты с предварительным обучением на небольших корпусах

Ограничения

Модель обучена на небольшом корпусе около 1 млн токенов, поэтому её обобщение и качество могут быть ограничены. Лицензия не указана в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RoBERTa Pretrained on Smaller Datasets

We pretrain RoBERTa on smaller datasets (1M, 10M, 100M, 1B tokens). We release 3 models with lowest perplexities for each pretraining data size out of 25 runs (or 10 in the case of 1B tokens). The pretraining data reproduces that of BERT: We combine English Wikipedia and a reproduction of BookCorpus using texts from smashwords in a ratio of approximately 3:1.

Hyperparameters and Validation Perplexity

The hyperparameters and validation perplexities corresponding to each model are as follows:

Model Name	Training Size	Model Size	Max Steps	Batch Size	Validation Perplexity
roberta-base-1B-1	1B	BASE	100K	512	3.93
roberta-base-1B-2	1B	BASE	31K	1024	4.25
roberta-base-1B-3	1B	BASE	31K	4096	3.84
roberta-base-100M-1	100M	BASE	100K	512	4.99
roberta-base-100M-2	100M	BASE	31K	1024	4.61
roberta-base-100M-3	100M	BASE	31K	512	5.02
roberta-base-10M-1	10M	BASE	10K	1024	11.31
roberta-base-10M-2	10M	BASE	10K	512	10.78
roberta-base-10M-3	10M	BASE	31K	512	11.58
roberta-med-small-1M-1	1M	MED-SMALL	100K	512	153.38
roberta-med-small-1M-2	1M	MED-SMALL	10K	512	134.18
roberta-med-small-1M-3	1M	MED-SMALL	31K	512	139.39

The hyperparameters corresponding to model sizes mentioned above are as follows:

Model Size	L	AH	HS	FFN	P
BASE	12	12	768	3072	125M
MED-SMALL	6	8	512	2048	45M

(AH = number of attention heads; HS = hidden size; FFN = feedforward network dimension; P = number of parameters.)

For other hyperparameters, we select:

Peak Learning rate: 5e-4
Warmup Steps: 6% of max steps
Dropout: 0.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: a9e29b2