Характеристики

Контекст: 512 токенов
Архитектура: distilbert · dense
Библиотека: transformers
Опубликована: 5 дек 2024

Ссылки

Hugging Face

bert_base_lda_5_v1_book

gokulsrinivasagan

Языковая модель

Дообученная модель на базе DistilBERT для тематического моделирования книг с использованием LDA.

7скачиваний за 30 дней0лайковвеса обновлены9 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель bert_base_lda_5_v1_book — дообученная модель на архитектуре DistilBERT, связанная с задачей LDA, обученная на наборе данных gokulsrinivasagan/processed_book_corpus-ld-5. Для неё указаны результаты оценки: loss 2,4588 и accuracy 0,7559. Карточка не описывает назначение модели и способы применения подробнее. Репозиторий содержит веса в формате safetensors; контекст составляет 512 токенов. Условия лицензии в доступных данных не указаны.

Сценарии применения

анализ тем в корпусе книг
тематическая классификация фрагментов текста
исследовательские эксперименты с LDA на книжных данных

Ограничения

Карточка не раскрывает точную схему тематических меток, данные обучения и предназначенные сценарии применения; приведённые метрики не сопровождаются описанием методики оценки. Указаны лишь результаты на неназванном evaluation set.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert_base_lda_5_v1_book

This model is a fine-tuned version of on the gokulsrinivasagan/processed_book_corpus-ld-5 dataset. It achieves the following results on the evaluation set:

Loss: 2.4588
Accuracy: 0.7559

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 96
eval_batch_size: 96
seed: 10
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 10000
num_epochs: 25

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
7.0997	0.4215	10000	6.9318	0.1639
6.9855	0.8431	20000	6.8420	0.1652
6.9276	1.2646	30000	6.7965	0.1662
6.8979	1.6861	40000	6.7707	0.1664
6.8708	2.1077	50000	6.7510	0.1673
6.8545	2.5292	60000	6.7322	0.1682
4.1528	2.9507	70000	3.8084	0.5410
3.5714	3.3723	80000	3.2838	0.6196
3.3831	3.7938	90000	3.1109	0.6470
3.2724	4.2153	100000	3.0118	0.6628
3.2036	4.6369	110000	2.9437	0.6732
3.1442	5.0584	120000	2.8917	0.6821
3.0973	5.4799	130000	2.8480	0.6892
3.0658	5.9014	140000	2.8130	0.6946
3.03	6.3230	150000	2.7858	0.6993
3.0096	6.7445	160000	2.7617	0.7035
2.9758	7.1660	170000	2.7381	0.7077
2.9593	7.5876	180000	2.7242	0.7101
2.9411	8.0091	190000	2.7034	0.7130
2.923	8.4306	200000	2.6897	0.7158
2.9048	8.8522	210000	2.6765	0.7181
2.8966	9.2737	220000	2.6622	0.7204
2.8762	9.6952	230000	2.6505	0.7223
2.8607	10.1168	240000	2.6398	0.7245
2.8571	10.5383	250000	2.6271	0.7262
2.8425	10.9598	260000	2.6175	0.7280
2.8318	11.3814	270000	2.6108	0.7292
2.8289	11.8029	280000	2.6007	0.7311
2.8124	12.2244	290000	2.5929	0.7324
2.8057	12.6460	300000	2.5821	0.7343
2.7945	13.0675	310000	2.5765	0.7354
2.7875	13.4890	320000	2.5697	0.7366
2.782	13.9106	330000	2.5634	0.7373
2.7765	14.3321	340000	2.5552	0.7390
2.7667	14.7536	350000	2.5493	0.7398
2.7611	15.1751	360000	2.5438	0.7407
2.7551	15.5967	370000	2.5371	0.7419
2.7481	16.0182	380000	2.5313	0.7430
2.7426	16.4397	390000	2.5264	0.7439
2.7361	16.8613	400000	2.5229	0.7447
2.7309	17.2828	410000	2.5152	0.7458
2.7245	17.7043	420000	2.5121	0.7467
2.7188	18.1259	430000	2.5086	0.7471
2.7113	18.5474	440000	2.5051	0.7478
2.7108	18.9689	450000	2.4989	0.7489
2.7047	19.3905	460000	2.4949	0.7496
2.7021	19.8120	470000	2.4909	0.7502
2.6941	20.2335	480000	2.4869	0.7509
2.6883	20.6551	490000	2.4828	0.7516
2.6843	21.0766	500000	2.4785	0.7522
2.681	21.4981	510000	2.4755	0.7530
2.6756	21.9197	520000	2.4729	0.7535
2.6757	22.3412	530000	2.4707	0.7539
2.6705	22.7627	540000	2.4694	0.7541
2.6708	23.1843	550000	2.4654	0.7545
2.6665	23.6058	560000	2.4626	0.7553
2.6622	24.0273	570000	2.4618	0.7555
2.6612	24.4488	580000	2.4580	0.7561
2.6573	24.8704	590000	2.4581	0.7559

Framework versions

Transformers 4.46.3
Pytorch 2.2.1+cu118
Datasets 2.17.0
Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: DistilBertForLDAMaskedLM
Ревизия весов: 1cd6b70