Характеристики

Контекст: 512 токенов
Параметры: 155 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Базовая модель: results
Опубликована: 5 июл 2024

Ссылки

Hugging Face

cate-ts

tangminhanh

Классификация текстаТекст → label

Дообученная DeBERTa-v2 для классификации текстов, оценённая с F1 0,8828 на неописанной выборке.

7скачиваний за 30 дней0лайковвеса обновлены5 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель tangminhanh/cate-ts — дообученная версия tangminhanh/results для классификации текста. Она построена на архитектуре DeBERTa-v2 и содержит 155 млн параметров; максимальная длина контекста составляет 512 токенов. Репозиторий содержит веса в формате Safetensors.

Модель предназначена для присвоения текстам категорий. В README приведены результаты на оценочной выборке: accuracy 0,8673, F1 0,8828, precision 0,8907 и recall 0,8750. Датасет и значение меток не описаны, поэтому применимость этих показателей к конкретным данным неясна. Лицензия — MIT.

Сценарии применения

классификация текстов по заданным категориям
автоматическая разметка текстовых записей
оценка тональности или тематики после проверки на целевых данных

Ограничения

README не описывает датасет, набор классов и предназначение меток, поэтому качество на прикладных данных не установлено. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

results

This model is a fine-tuned version of tangminhanh/results on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0214
Accuracy: 0.8673
F1: 0.8828
Precision: 0.8907
Recall: 0.8750

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1	Precision	Recall
0.0959	1.0	816	0.0287	0.7330	0.7966	0.8666	0.7371
0.0223	2.0	1632	0.0203	0.8256	0.8587	0.8922	0.8277
0.0171	3.0	2448	0.0197	0.8348	0.8639	0.8824	0.8463
0.0116	4.0	3264	0.0194	0.8486	0.8708	0.8873	0.8548
0.0101	5.0	4080	0.0198	0.8532	0.8704	0.8798	0.8612
0.008	6.0	4896	0.0200	0.8550	0.8742	0.8872	0.8615
0.0065	7.0	5712	0.0204	0.8614	0.8775	0.8867	0.8686
0.0056	8.0	6528	0.0208	0.8587	0.8768	0.8858	0.8679
0.0048	9.0	7344	0.0214	0.8624	0.8781	0.8875	0.8689
0.0044	10.0	8160	0.0214	0.8673	0.8828	0.8907	0.8750

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassification
Ревизия весов: 55d80df