Характеристики

Контекст: 514 токенов
Параметры: 138 млн
Архитектура: camembert · dense
Базовая модель: umberto-commoncrawl-cased-v1
Опубликована: 7 мая 2024

Ссылки

Hugging Face

irony_classification_ita_base

lupobricco

Классификация текстаТекст → label3 профессии

Дообученная на итальянском языке модель для классификации текста с целью определения иронии.

9скачиваний за 30 дней0лайковвеса обновлены7 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

lupobricco/irony_classification_ita_base — дообученная модель классификации текста на архитектуре CamemBERT, основанная на Musixmatch/umberto-commoncrawl-cased-v1. Она предназначена для определения иронии в тексте. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов.

В README приведены результаты оценки: F1 — 0,7035, ROC AUC — 0,7635 и точность — 0,6124. Обучающий набор данных и подробности предполагаемого применения не описаны. Базовая модель предназначена для итальянского языка, поэтому итальянский — основной язык для этой модели. Репозиторий содержит веса в формате Safetensors; сведения о лицензии отсутствуют в предоставленных данных.

Сценарии применения

Определение иронии в итальянских сообщениях
Разметка ироничных публикаций в социальных сетях
Фильтрация корпуса итальянских текстов по наличию иронии

Ограничения

README не раскрывает обучающий датасет и детали применения; приведённая точность составляет 0,6124, поэтому результаты могут быть ненадёжны для отдельных текстов или доменов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

irony_classification_ita_base

This model is a fine-tuned version of Musixmatch/umberto-commoncrawl-cased-v1 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.9229
F1: 0.7035
Roc Auc: 0.7635
Accuracy: 0.6124

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	F1	Roc Auc	Accuracy
No log	1.0	485	0.4856	0.6741	0.7414	0.5845
0.5349	2.0	970	0.5023	0.6423	0.7255	0.6175
0.4217	3.0	1455	0.5592	0.6433	0.7265	0.6113
0.3188	4.0	1940	0.6664	0.6549	0.7322	0.6134
0.2303	5.0	2425	0.8518	0.6122	0.7071	0.6062
0.1588	6.0	2910	0.9229	0.7035	0.7635	0.6124
0.1123	7.0	3395	0.9859	0.6677	0.7406	0.6082
0.0761	8.0	3880	1.0392	0.6875	0.7536	0.6206
0.0524	9.0	4365	1.0789	0.6846	0.7515	0.6206
0.0461	10.0	4850	1.0948	0.6947	0.7583	0.6206

Framework versions

Transformers 4.40.1
Pytorch 2.3.0+cu118
Datasets 2.19.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: CamembertForSequenceClassification
Ревизия весов: baf54c6