/ Модель
Каталог

Характеристики

Контекст
512 токенов
Лицензия
Apache 2.0
Архитектура
distilbert · dense
Опубликована
28 мая 2024

Ссылки

Hugging Face

distilbert-base-uncased-finetuned-synthetic

Chrisantha
Заполнение пропусковТекст → текст3 профессии

Дообученная DistilBERT для предсказания скрытых токенов в англоязычном тексте.

8скачиваний за 30 дней0лайковвеса обновлены29 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Chrisantha выпустил модель DistilBERT, дообученную для задачи fill-mask: она предсказывает скрытые токены в англоязычном тексте. Модель использует архитектуру DistilBertForMaskedLM и принимает последовательности длиной до 512 токенов.

Её можно применять для восстановления пропущенных слов и анализа контекста через подстановку маскированных токенов. В README приведена оценка loss 2,3360 на наборе для оценки, но сведения о назначении синтетических данных и их составе отсутствуют. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • восстановление пропущенных слов в предложениях
  • подбор вероятного токена вместо маски [MASK]
  • контекстный анализ вариантов заполнения пропуска

Ограничения

В README не описаны обучающие данные, ограничения и конкретные сценарии применения; указано только значение loss 2,3360 на оценочном наборе.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-uncased-finetuned-synthetic

This model is a fine-tuned version of Chrisantha/distilbert-base-uncased-finetuned-synthetic on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 2.3360

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 100
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation Loss
No log1.012.9106
0.97342.022.5432
0.97343.032.5525
0.92134.042.3557
0.92135.052.4531
1.02616.062.2645
1.02617.072.3934
1.36198.082.0998
1.36199.091.9944
0.836710.0101.9301
0.836711.0111.8057
0.642212.0121.8467
0.642213.0131.8696
0.674814.0141.9901
0.674815.0151.9514
0.425316.0161.9247
0.425317.0171.9163
0.410818.0181.9326
0.410819.0191.9893
0.419520.0202.0361
0.419521.0212.0074
0.477522.0222.0498
0.477523.0231.8154
0.320824.0241.9197
0.320825.0251.9540
0.545526.0261.8042
0.545527.0271.8672
0.408828.0281.7870
0.408829.0291.7510
0.395330.0301.7780
0.395331.0311.7736
0.528232.0321.9123
0.528233.0332.1976
0.51134.0342.2451
0.51135.0352.3681
0.586436.0362.3280
0.586437.0372.3096
0.486538.0382.3100
0.486539.0392.2886
0.416940.0402.2931
0.416941.0412.2026
0.389242.0422.2682
0.389243.0431.9952
0.254644.0442.0938
0.254645.0452.1655
0.369246.0462.1784
0.369247.0472.3851
0.242848.0482.3919
0.242849.0492.4402
0.321450.0502.4694
0.321451.0512.4446
0.149652.0522.3300
0.149653.0532.1650
0.128554.0542.0729
0.128555.0552.1043
0.294356.0562.0690
0.294357.0572.1732
0.551358.0582.2477
0.551359.0592.2747
0.293560.0602.5255
0.293561.0612.6288
0.264662.0622.8252
0.264663.0632.8183
0.245464.0642.8435
0.245465.0652.7582
0.229466.0662.7930
0.229467.0672.7311
0.182268.0682.6562
0.182269.0692.5528
0.267670.0702.4556
0.267671.0712.5049
0.217972.0722.4991
0.217973.0732.3995
0.380874.0742.4511
0.380875.0752.3586
0.205476.0762.4260
0.205477.0772.3135
0.233578.0782.3640
0.233579.0792.3055
0.150280.0802.2088
0.150281.0812.3361
0.210182.0822.4369
0.210183.0832.4233
0.339884.0842.4692
0.339885.0852.4868
0.152986.0862.4996
0.152987.0872.6840
0.196388.0882.5101
0.196389.0892.4586
0.163790.0902.5021
0.163791.0912.4644
0.233792.0922.5042
0.233793.0932.3934
0.08894.0942.4024
0.08895.0952.3115
0.093796.0962.4827
0.093797.0972.3294
0.262598.0982.3843
0.262599.0992.3754
0.2198100.01002.3297

Framework versions

  • Transformers 4.41.1
  • Pytorch 2.3.0+cu121
  • Datasets 2.19.1
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
DistilBertForMaskedLM
Ревизия весов
e7d8335

0 моделей

    Создать бенчмарк