/ Модель
Каталог

Характеристики

Контекст
512 токенов
Архитектура
distilbert · dense
Библиотека
transformers
Опубликована
5 дек 2024

Ссылки

Hugging Face

distilbert_lda_5_v1_book

gokulsrinivasagan
Языковая модель

Дообученная на корпусе книг модель DistilBERT для тематического моделирования с использованием LDA.

9скачиваний за 30 дней0лайковвеса обновлены8 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gokulsrinivasagan/distilbert_lda_5_v1_book — модель на базе архитектуры DistilBERT, дообученная на корпусе обработанных книг gokulsrinivasagan/processed_book_corpus-ld-5. В карточке указаны значения loss 2.5846 и accuracy 0.7334 на оценочной выборке. Для модели заявлен контекст до 512 токенов.

Архитектура содержит специализированный класс DistilBertForLDAMaskedLM, что указывает на применение DistilBERT для задачи, связанной с тематическим моделированием LDA. Модель может быть полезна для тематического анализа книжного корпуса; сведений о поддерживаемых языках и конкретном формате пользовательского интерфейса карточка не приводит. Лицензия не указана в доступных данных.

Сценарии применения

  • выявление тем в текстах книг
  • тематический анализ книжного корпуса
  • группировка фрагментов книг по тематическим признакам

Ограничения

Модель оценивалась на указанной выборке с accuracy 0.7334; сведений о качестве на других корпусах нет. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert_lda_5_v1_book

This model is a fine-tuned version of on the gokulsrinivasagan/processed_book_corpus-ld-5 dataset. It achieves the following results on the evaluation set:

  • Loss: 2.5846
  • Accuracy: 0.7334

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 96
  • eval_batch_size: 96
  • seed: 10
  • optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 10000
  • num_epochs: 25

Training results

Training LossEpochStepValidation LossAccuracy
7.11440.4215100006.93720.1643
4.79670.8431200004.35440.4792
3.81521.2646300003.50630.5921
3.58011.6861400003.28660.6241
3.44162.1077500003.16320.6409
3.35572.5292600003.07620.6544
3.28982.9507700003.02010.6625
3.24393.3723800002.97670.6697
3.20593.7938900002.93820.6752
3.17154.21531000002.91280.6798
3.15094.63691100002.88850.6834
3.12565.05841200002.86090.6874
3.10385.47991300002.84520.6902
3.08955.90141400002.82550.6932
3.06716.32301500002.81210.6954
3.05966.74451600002.79920.6978
3.03717.16601700002.78600.7002
3.02897.58761800002.77730.7014
3.01788.00911900002.76690.7029
3.00648.43062000002.75450.7053
2.99318.85222100002.74660.7063
2.99059.27372200002.73720.7076
2.97519.69522300002.72860.7091
2.964510.11682400002.72340.7108
2.962710.53832500002.71430.7116
2.951710.95982600002.70730.7128
2.943911.38142700002.70330.7135
2.94411.80292800002.69440.7151
2.929512.22442900002.68870.7156
2.926312.64603000002.68230.7172
2.917213.06753100002.67720.7180
2.912613.48903200002.67220.7187
2.909413.91063300002.66840.7194
2.905414.33213400002.66140.7204
2.897214.75363500002.65730.7210
2.893115.17513600002.65450.7217
2.889415.59673700002.64680.7227
2.884116.01823800002.64250.7235
2.879916.43973900002.63860.7241
2.874216.86134000002.63700.7245
2.871617.28284100002.63010.7255
2.865817.70434200002.62680.7263
2.860518.12594300002.62630.7266
2.854918.54744400002.62330.7268
2.855418.96894500002.61750.7281
2.849919.39054600002.61410.7286
2.848319.81204700002.61110.7288
2.841720.23354800002.60820.7296
2.836520.65514900002.60400.7302
2.833221.07665000002.60110.7304
2.831321.49815100002.59880.7311
2.826721.91975200002.59710.7314
2.828522.34125300002.59540.7316
2.823622.76275400002.59440.7319
2.824623.18435500002.59070.7323
2.819623.60585600002.58830.7329
2.816124.02735700002.58770.7330
2.815324.44885800002.58420.7335
2.811724.87045900002.58480.7332

Framework versions

  • Transformers 4.46.3
  • Pytorch 2.2.1+cu118
  • Datasets 2.17.0
  • Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры
DistilBertForLDAMaskedLM
Ревизия весов
82487be

0 моделей

    Создать бенчмарк