Характеристики

Контекст: 512 токенов
Параметры: 12 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert_uncased_L-4_H-256_A-4
Опубликована: 25 сен 2023

Ссылки

bert_uncased_L-4_H-256_A-4-finetuned-hangman

Заполнение пропусковТекст → текст

Компактная англоязычная BERT-модель для предсказания пропущенных токенов в тексте, дообученная на базе google/bert_uncased_L-4_H-256_A-4.

12скачиваний за 30 дней0лайковвеса обновлены25 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

vaibhav9/bert_uncased_L-4_H-256_A-4-finetuned-hangman — дообученная модель BERT, опубликованная пользователем vaibhav9 на Hugging Face на основе google/bert_uncased_L-4_H-256_A-4. Это компактный англоязычный энкодер с 12 млн параметров, архитектурой BertForMaskedLM и контекстом до 512 токенов; формат весов — PyTorch.

Модель предназначена для задачи fill-mask: предсказания пропущенного токена в тексте. В названии указана тематика Hangman, однако README не объясняет назначение дообучения, а обучающий датасет обозначен как None. В карточке приведено значение loss 2.3823 на оценочном наборе.

Лицензия — Apache-2.0. Оценку качества для игровых сценариев или иных задач по имеющимся данным определить нельзя.

Сценарии применения

предсказание пропущенного слова в английском предложении
подстановка пропусков в текстах на тему Hangman
эксперименты с заполнением масок в компактном BERT

Ограничения

README не описывает обучающий датасет и назначение дообучения; указан датасет None. Приведён только loss 2.3823, без дополнительных метрик или результатов для сценария Hangman.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert_uncased_L-4_H-256_A-4-finetuned-hangman

This model is a fine-tuned version of google/bert_uncased_L-4_H-256_A-4 on the None dataset. It achieves the following results on the evaluation set:

Loss: 2.3823

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss
1.8488	1.0	22730	2.3634
1.814	2.0	45460	2.3782
1.7889	3.0	68190	2.3823

Framework versions

Transformers 4.33.2
Pytorch 2.0.1+cu118
Datasets 2.14.5
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: ef272ff