Характеристики

Параметры: 435 млн
Лицензия: MIT
Архитектура: xlnet · dense
Базовая модель: xlnet-large-cased
Библиотека: transformers
Опубликована: 23 дек 2024

Ссылки

CS221-xlnet-large-cased-finetuned-semeval

Классификация текстаТекст → label

Дообученная XLNet Large модель для классификации текста, с опубликованными метриками оценки, но без описания классов и датасета.

20скачиваний за 30 дней0лайковвеса обновлены23 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CS221-xlnet-large-cased-finetuned-semeval — модель классификации текста, дообученная Kuongan на основе xlnet/xlnet-large-cased. Она использует архитектуру XLNetForSequenceClassification и содержит 435,4 млн параметров; веса опубликованы в формате Safetensors. Модель предназначена для отнесения текстов к классам, однако карточка не уточняет набор классов, целевую область или конкретный сценарий применения.

В README приведены результаты на оценочной выборке: F1 0,7846, ROC AUC 0,8368, accuracy 0,4892 и loss 0,6440. Данные для обучения в карточке обозначены как None, поэтому результаты трудно интерпретировать без сведений о датасете и методике оценки. Лицензия модели — MIT.

Сценарии применения

классификация текстовых сообщений по классам
оценка принадлежности текста к категории
экспериментальная оценка модели классификации на собственной выборке

Ограничения

README не описывает классы, обучающий набор данных и целевую область, поэтому применимость модели к конкретной задаче неясна. На оценочной выборке accuracy составляет 0,4892; без сведений о составе выборки метрики нельзя переносить на другие данные.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CS221-xlnet-large-cased-finetuned-semeval

This model is a fine-tuned version of xlnet-large-cased on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.6440
F1: 0.7846
Roc Auc: 0.8368
Accuracy: 0.4892

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 100
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	F1	Roc Auc	Accuracy
0.577	1.0	139	0.5832	0.4593	0.6262	0.1516
0.5274	2.0	278	0.5171	0.4943	0.6506	0.1805
0.429	3.0	417	0.3725	0.7256	0.7927	0.4188
0.3146	4.0	556	0.3735	0.7468	0.8089	0.4567
0.2192	5.0	695	0.3846	0.7625	0.8216	0.4729
0.167	6.0	834	0.4137	0.7541	0.8126	0.4585
0.0954	7.0	973	0.4414	0.7672	0.8222	0.4783
0.0668	8.0	1112	0.5105	0.7696	0.8271	0.4747
0.0299	9.0	1251	0.5573	0.7688	0.8263	0.4531
0.0258	10.0	1390	0.5910	0.7793	0.8366	0.4783
0.0132	11.0	1529	0.6008	0.7741	0.8298	0.4801
0.0082	12.0	1668	0.6108	0.7780	0.8340	0.4711
0.0054	13.0	1807	0.6386	0.7806	0.8356	0.4711
0.0033	14.0	1946	0.6429	0.7775	0.8325	0.4747
0.0025	15.0	2085	0.6464	0.7763	0.8314	0.4675
0.0028	16.0	2224	0.6440	0.7846	0.8368	0.4892
0.0029	17.0	2363	0.6455	0.7816	0.8344	0.4856
0.0029	18.0	2502	0.6496	0.7777	0.8316	0.4765
0.0023	19.0	2641	0.6500	0.7812	0.8347	0.4819

Framework versions

Transformers 4.47.1
Pytorch 2.5.1+cu121
Datasets 3.2.0
Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: XLNetForSequenceClassification
Ревизия весов: e3d4fcf