/ Модель
Каталог

Характеристики

Контекст
512 токенов
Лицензия
Apache 2.0
Архитектура
distilbert · dense
Базовая модель
distilbert-base-uncased
Библиотека
transformers
Опубликована
28 янв 2025

Ссылки

Hugging Face

tinybert_train_book_v2

gokulsrinivasagan
Заполнение пропусковТекст → текст

Дообученная на книжном корпусе модель DistilBERT для предсказания слов, скрытых маской в тексте.

9скачиваний за 30 дней0лайковвеса обновлены29 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

tinybert_train_book_v2 — модель DistilBERTForMaskedLM, разработанная как дообучение distilbert/distilbert-base-uncased на корпусе gokulsrinivasagan/processed_book_corpus-ld. Она предсказывает замаскированные слова в тексте и подходит для языкового моделирования и экспериментов с книжным корпусом. Модель принимает текст и выдаёт вероятности токенов для заполнения маски; контекст составляет до 512 токенов. В оценке на указанном наборе получены loss 1,4246 и accuracy 0,6906. Лицензия — Apache-2.0.

Сценарии применения

  • подстановка пропущенного слова в предложении
  • оценка вариантов заполнения текстовой маски
  • эксперименты с masked language modeling на книжном корпусе

Ограничения

В README не приведены подробные сведения о назначении и ограничениях; заявлены только метрики на оценочном наборе. Английская базовая модель и обучающий корпус не гарантируют качество на других языках и типах текста.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tinybert_train_book_v2

This model is a fine-tuned version of distilbert-base-uncased on the gokulsrinivasagan/processed_book_corpus-ld dataset. It achieves the following results on the evaluation set:

  • Loss: 1.4246
  • Accuracy: 0.6906

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 160
  • eval_batch_size: 160
  • seed: 10
  • optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 10000
  • num_epochs: 25

Training results

Training LossEpochStepValidation LossAccuracy
5.63960.7025100005.47840.1645
5.55131.4051200005.40830.1660
2.92892.1076300002.54880.5214
2.56862.8102400002.22690.5650
2.35423.5127500002.02680.5945
2.20444.2153600001.89240.6152
2.11024.9178700001.80250.6296
2.03785.6203800001.73950.6393
1.98816.3229900001.69450.6467
1.94697.02541000001.65520.6526
1.9197.72801100001.62790.6572
1.88998.43051200001.60120.6613
1.86349.13311300001.58490.6641
1.84819.83561400001.56300.6679
1.831510.53811500001.54760.6703
1.820911.24071600001.53940.6716
1.803811.94321700001.52500.6740
1.793212.64581800001.51070.6761
1.782613.34831900001.50580.6770
1.773614.05092000001.49520.6785
1.763514.75342100001.48620.6799
1.754915.45602200001.47820.6815
1.749716.15852300001.47370.6821
1.740716.86102400001.46750.6832
1.733417.56362500001.46120.6843
1.728818.26612600001.45680.6849
1.726518.96872700001.45190.6858
1.717919.67122800001.44690.6868
1.715620.37382900001.44280.6873
1.708621.07633000001.43890.6882
1.706421.77883100001.43340.6892
1.700922.48143200001.43090.6895
1.698923.18393300001.42920.6896
1.697123.88653400001.42620.6902
1.695824.58903500001.42390.6906

Framework versions

  • Transformers 4.46.1
  • Pytorch 2.2.0+cu121
  • Datasets 3.1.0
  • Tokenizers 0.20.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
DistilBertForMaskedLM
Ревизия весов
9ca1b9b

0 моделей

    Создать бенчмарк