Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

wsklee/distilbert-sentiment-sft — дообученная модель DistilBERT для классификации текста по тональности. Она основана на distilbert/distilbert-base-uncased и использует архитектуру DistilBertForSequenceClassification. Модель предназначена для определения тональности текстовых фрагментов; карточка сообщает точность 0,9079 и loss 0,3640 на оценочном наборе.

Модель принимает текст и выдаёт метку класса. Контекст ограничен 512 токенами. В качестве обучающего набора в карточке указано None, поэтому область данных и применимость результатов оценки трудно определить. Лицензия — Apache-2.0.

Сценарии применения

определение тональности отзывов покупателей
классификация положительных и отрицательных комментариев
анализ тональности коротких сообщений
сортировка отзывов по эмоциональной окраске

Ограничения

Указанный обучающий набор «None» не позволяет оценить, на каких данных обучалась модель и насколько результаты обобщаются на другие тексты. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-sentiment-sft

This model is a fine-tuned version of distilbert/distilbert-base-uncased on the None dataset. It achieves the following results on the evaluation set:

Accuracy: 0.9079
Loss: 0.3640

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0003
train_batch_size: 128
eval_batch_size: 256
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
lr_scheduler_warmup_ratio: 0.1
num_epochs: 2

Training results

Training Loss	Epoch	Step	Accuracy	Validation Loss
0.3193	0.0693	200	0.8053	0.4077
0.3034	0.1386	400	0.8804	0.2815
0.2434	0.2079	600	0.8820	0.3157
0.2445	0.2772	800	0.8748	0.2826
0.2278	0.3465	1000	0.9021	0.2486
0.2413	0.4158	1200	0.9057	0.2338
0.2203	0.4851	1400	0.9078	0.2321
0.1794	0.1386	1600	0.8923	0.4463
0.1745	0.1559	1800	0.8815	0.4294
0.1356	0.1733	2000	0.8505	0.7842
0.2925	0.1906	2200	0.8743	0.4678
0.1962	0.2079	2400	0.8808	0.5187
0.2826	0.2252	2600	0.8813	0.3407
0.2098	0.2426	2800	0.8747	0.4841
0.2365	0.2599	3000	0.8820	0.3917
0.3326	0.2772	3200	0.8782	0.4820
0.2582	0.2945	3400	0.8673	0.4750
0.2884	0.3119	3600	0.8655	0.5103
0.3666	0.3292	3800	0.8697	0.4432
0.2937	0.3465	4000	0.8791	0.4215
0.2758	0.3638	4200	0.8801	0.3731
0.2858	0.3812	4400	0.8781	0.3824
0.2718	0.3985	4600	0.8675	0.3947
0.2765	0.4158	4800	0.8784	0.3715
0.3863	0.4331	5000	0.8801	0.3893
0.259	0.4505	5200	0.8787	0.3901
0.3322	0.4678	5400	0.8771	0.3125
0.3093	0.4851	5600	0.8774	0.3301
0.3453	0.5024	5800	0.8732	0.3261
0.2693	0.5198	6000	0.8653	0.4842
0.3099	0.5371	6200	0.8826	0.3130
0.3865	0.5544	6400	0.8815	0.3341
0.3495	0.5717	6600	0.8796	0.3751
0.3674	0.5891	6800	0.8878	0.3179
0.2809	0.6064	7000	0.8604	0.3620
0.3732	0.6237	7200	0.8772	0.3290
0.2691	0.6410	7400	0.8762	0.3554
0.2965	0.6584	7600	0.7921	0.6430
0.3314	0.6757	7800	0.8863	0.2992
0.2862	0.6930	8000	0.8877	0.3402
0.2674	0.7103	8200	0.8614	0.5282
0.3058	0.7277	8400	0.8864	0.3805
0.3177	0.7450	8600	0.8896	0.3267
0.2655	0.7623	8800	0.8868	0.3509
0.3037	0.7796	9000	0.8857	0.3368
0.2748	0.7970	9200	0.8810	0.3656
0.2519	0.8143	9400	0.8811	0.4229
0.2676	0.8316	9600	0.8876	0.3761
0.2818	0.8489	9800	0.8682	0.3547
0.2729	0.8663	10000	0.8862	0.3137
0.2754	0.8836	10200	0.8877	0.3930
0.2373	0.9009	10400	0.8928	0.3666
0.2406	0.9182	10600	0.8929	0.3604
0.2645	0.9356	10800	0.8893	0.3302
0.2694	0.9529	11000	0.8772	0.4114
0.2686	0.9702	11200	0.8911	0.3444
0.2606	0.9875	11400	0.8950	0.3683
0.2333	1.0049	11600	0.8766	0.4180
0.1684	1.0222	11800	0.8944	0.3790
0.1728	1.0395	12000	0.8964	0.4276
0.1387	1.0568	12200	0.8956	0.4145
0.1622	1.0742	12400	0.9009	0.4076
0.1956	1.0915	12600	0.8998	0.4052
0.0972	1.1088	12800	0.9006	0.4012
0.1676	1.1261	13000	0.9023	0.3400
0.1845	1.1435	13200	0.8922	0.3870
0.1331	1.1608	13400	0.8947	0.4295
0.1595	1.1781	13600	0.9012	0.3795
0.137	1.1954	13800	0.9035	0.3774
0.1796	1.2128	14000	0.9028	0.3855
0.164	1.2301	14200	0.8998	0.4135
0.1566	1.2474	14400	0.9030	0.3961
0.1964	1.2647	14600	0.8966	0.4094
0.1538	1.2821	14800	0.8959	0.4111
0.1645	1.2994	15000	0.9038	0.3668
0.0836	1.3167	15200	0.9000	0.4360
0.2215	1.3340	15400	0.9047	0.3624
0.1226	1.3514	15600	0.9038	0.3546
0.1569	1.3687	15800	0.9042	0.3692
0.1361	1.3860	16000	0.9053	0.3644
0.1537	1.4033	16200	0.9040	0.3679
0.1754	1.4207	16400	0.9039	0.3971
0.1066	1.4380	16600	0.9063	0.3770
0.2181	1.4553	16800	0.9041	0.3417
0.1483	1.4726	17000	0.9062	0.3726
0.1767	1.4900	17200	0.9060	0.3719
0.1708	1.5073	17400	0.9000	0.3881
0.1536	1.5246	17600	0.9072	0.3669
0.1759	1.5419	17800	0.9060	0.3534
0.138	1.5593	18000	0.9043	0.3802
0.122	1.5766	18200	0.9063	0.3745
0.1125	1.5939	18400	0.9067	0.3798
0.1565	1.6112	18600	0.9054	0.3470
0.1356	1.6286	18800	0.9072	0.3535
0.1396	1.6459	19000	0.9056	0.3563
0.1809	1.6632	19200	0.9065	0.3519
0.1305	1.6805	19400	0.9058	0.3632
0.1476	1.6979	19600	0.9068	0.3556
0.1978	1.7152	19800	0.9075	0.3618
0.1507	1.7325	20000	0.9072	0.3647
0.1413	1.7498	20200	0.9075	0.3699
0.1134	1.7672	20400	0.9082	0.3654
0.1802	1.7845	20600	0.9083	0.3702
0.1312	1.8018	20800	0.9084	0.3696
0.2031	1.8191	21000	0.9090	0.3676
0.1909	1.8365	21200	0.9075	0.3626
0.1304	1.8538	21400	0.9074	0.3638
0.1422	1.8711	21600	0.9079	0.3613
0.0773	1.8884	21800	0.9074	0.3628
0.1552	1.9058	22000	0.9076	0.3629
0.125	1.9231	22200	0.9080	0.3638
0.1255	1.9404	22400	0.9080	0.3646
0.1718	1.9577	22600	0.9079	0.3642
0.1563	1.9751	22800	0.9079	0.3640
0.144	1.9924	23000	0.9079	0.3640

Framework versions

Transformers 4.46.2
Pytorch 2.5.1
Datasets 3.1.0
Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForSequenceClassification
Ревизия весов: 867c852

Характеристики

Ссылки

distilbert-sentiment-sft

Бенчмарки

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

distilbert-sentiment-sft

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить