Характеристики

Контекст: 512 токенов
Параметры: 80,1 млн
Архитектура: bert · dense
Опубликована: 16 мар 2022

Ссылки

Hugging Face

TinyBERT_General_6L_768D-finetuned-wikitext103

saghar

Заполнение пропусковТекст → текст3 профессии

Дообученная на WikiText модель TinyBERT для предсказания замаскированных токенов в тексте.

79скачиваний за 30 дней0лайковвеса обновлены17 мар 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная модель TinyBERT_General_6L_768D от Huawei Noah, предназначенная для заполнения пропусков в тексте: она предсказывает замаскированные токены по контексту. Модель построена на архитектуре BERT с языковой головой BertForMaskedLM, содержит 80,1 млн параметров и принимает последовательности длиной до 512 токенов.

Модель дообучена на датасете WikiText; в README приведено значение loss 3,3768 на оценочной выборке. Она может использоваться для восстановления пропущенных слов и экспериментов с языковым моделированием. Данные о лицензии и дополнительных ограничениях в предоставленных источниках отсутствуют.

Сценарии применения

заполнение пропущенных слов в предложении
восстановление замаскированных токенов
подбор вероятного слова по контексту
эксперименты с задачей masked language modeling

Ограничения

В README приведён только результат loss 3,3768 на оценочной выборке, без подробностей о методике оценки и качестве на других задачах. Лицензия в предоставленных источниках не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TinyBERT_General_6L_768D-finetuned-wikitext103

This model is a fine-tuned version of huawei-noah/TinyBERT_General_6L_768D on the wikitext dataset. It achieves the following results on the evaluation set:

Loss: 3.3768

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss
4.1792	1.0	3125	3.5465
3.6726	2.0	6250	3.4226
3.6065	3.0	9375	3.3768

Framework versions

Transformers 4.16.2
Pytorch 1.8.1
Datasets 1.11.0
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 29151bb