Характеристики

Контекст: 512 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: bert · dense
Базовая модель: bert-base-romanian-cased-v1
Библиотека: transformers
Опубликована: 17 окт 2024

Ссылки

Hugging Face

teacher_emo

mateiaassAI

Классификация текстаТекст → label3 профессии

Дообученная румынская BERT-модель для классификации текста.

13скачиваний за 30 дней0лайковвеса обновлены17 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

teacher_emo — дообученная модель BERT для классификации текста, созданная на основе dumitrescustefan/bert-base-romanian-cased-v1. По названию репозитория можно предположить связь с эмоциональной классификацией, однако README не уточняет классы и назначение разметки, поэтому этот сценарий нельзя считать подтверждённым. Модель содержит 151,6 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors.

В README приведены результаты оценки: F1 0,9342, ROC AUC 0,9586 и accuracy 0,926. Датасет и подробности оценки не описаны, поэтому эти показатели не позволяют судить о переносе качества на другие данные. Базовая модель предназначена для румынского языка; лицензия модели — MIT.

Сценарии применения

классификация румынских текстовых сообщений
автоматическая разметка текста по категориям

Ограничения

README не раскрывает датасет, классы и intended use, поэтому эмоциональную тематику нельзя подтвердить по описанию. Метрики приведены без подробностей об evaluation set и не гарантируют аналогичного качества на новых данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

teacher_emo

This model is a fine-tuned version of dumitrescustefan/bert-base-romanian-cased-v1 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0567
F1: 0.9342
Roc Auc: 0.9586
Accuracy: 0.926
Precision: 0.9322
Recall: 0.9365

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 4

Training results

Training Loss	Epoch	Step	Validation Loss	F1	Roc Auc	Accuracy	Precision	Recall
0.1525	1.0	1000	0.1035	0.8945	0.9306	0.881	0.9074	0.8835
0.0692	2.0	2000	0.0659	0.9284	0.9511	0.92	0.9370	0.922
0.0476	3.0	3000	0.0571	0.9343	0.9578	0.929	0.9377	0.9315
0.0354	4.0	4000	0.0567	0.9342	0.9586	0.926	0.9322	0.9365

Framework versions

Transformers 4.45.1
Pytorch 2.4.0
Datasets 3.0.1
Tokenizers 0.20.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: a356cb5