Характеристики

Контекст: 512 токенов
Архитектура: hybridbert · dense
Опубликована: 2 окт 2023

Ссылки

Hugging Face

bert_12_layer_model_v4_complete_training_48

gokuls

Заполнение пропусковТекст → текст

Дообученная модель HybridBERT для предсказания замаскированных токенов в текстах с контекстом до 512 токенов.

7скачиваний за 30 дней0лайковвеса обновлены4 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gokuls/bert_12_layer_model_v4_complete_training_48 — модель семейства HybridBERT на архитектуре DistilBertForMaskedLM, дообученная для предсказания замаскированных токенов. Она обучалась на датасете gokuls/wiki_book_corpus_complete_processed_bert_dataset и предназначена для восстановления пропусков в тексте и анализа контекста через задачу fill-mask. Контекст модели — до 512 токенов; веса представлены в формате PyTorch.

В README приведены результаты оценки: loss 4,7042 и accuracy 0,2879. Описание сценариев применения и ограничений в карточке отсутствует; базовая модель не названа. Лицензия и поддерживаемые естественные языки в доступных данных не указаны.

Сценарии применения

восстановление пропущенных слов в предложении
подбор вероятного токена для маски в тексте
контекстный анализ фрагментов из книг и Википедии

Ограничения

В README указаны accuracy 0,2879 и loss 4,7042 на оценочном наборе, что следует учитывать при применении. Языки, лицензия и подробные ограничения не описаны в доступных данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert_12_layer_model_v4_complete_training_48

This model is a fine-tuned version of on the gokuls/wiki_book_corpus_complete_processed_bert_dataset dataset. It achieves the following results on the evaluation set:

Loss: 4.7042
Accuracy: 0.2879

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 48
eval_batch_size: 48
seed: 10
distributed_type: multi-GPU
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 10000
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
6.5774	0.08	10000	6.5399	0.1253
6.3254	0.16	20000	6.3103	0.1388
6.2278	0.25	30000	6.2114	0.1443
6.1712	0.33	40000	6.1491	0.1475
6.12	0.41	50000	6.1086	0.1492
6.0914	0.49	60000	6.0781	0.1500
6.0676	0.57	70000	6.0540	0.1505
6.0492	0.66	80000	6.0345	0.1512
6.028	0.74	90000	6.0157	0.1516
5.9337	0.82	100000	5.8988	0.1533
5.7697	0.9	110000	5.7402	0.1654
5.6918	0.98	120000	5.6387	0.1777
5.6026	1.07	130000	5.5348	0.1910
5.5066	1.15	140000	5.4329	0.2035
5.4294	1.23	150000	5.3326	0.2144
5.3402	1.31	160000	5.2304	0.2270
5.2397	1.39	170000	5.1170	0.2406
5.1356	1.47	180000	4.9793	0.2564
5.0099	1.56	190000	4.8372	0.2730
4.885	1.64	200000	4.7058	0.2878

Framework versions

Transformers 4.33.3
Pytorch 1.14.0a0+410ce96
Datasets 2.14.5
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Нельзя запустить

Архитектура hybridbert неизвестна transformers в образе рантайма.

Класс архитектуры: DistilBertForMaskedLM
Ревизия весов: cb14287