Характеристики

Контекст: 258 токенов
Параметры: 162 млн
Архитектура: roberta · dense
Базовая модель: phobert-base-v2
Опубликована: 23 июл 2024

Ссылки

Hugging Face

metadata-cls-no-gov-8k-v3

gechim

Классификация текстаТекст → label

Дообученная на PhoBERT-base-v2 модель классифицирует короткие тексты на вьетнамском языке.

7скачиваний за 30 дней0лайковвеса обновлены23 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gechim/metadata-cls-no-gov-8k-v3 — модель классификации текста, созданная дообучением PhoBERT-base-v2, вьетнамского RoBERTa-энкодера, на неизвестном наборе данных. Она предназначена для присвоения текстам меток в задаче text-classification; конкретная схема меток и целевая область применения в карточке не раскрыты.

Модель содержит 162,4 млн параметров, использует архитектуру RobertaForSequenceClassification и формат safetensors. Длина контекста составляет 258 токенов. В README приведены результаты оценки: accuracy 0,9515, F1 0,8155 и loss 0,3064. Модель распространяется по лицензии, указанной для базовой модели, только если она подтверждена в репозитории; доступные сведения лицензию не подтверждают.

Сценарии применения

классификация коротких сообщений на вьетнамском
присвоение текстам категорий в прикладном классификаторе
оценка качества модели на задаче классификации текста

Ограничения

Набор данных, целевые метки и прикладная область не описаны, поэтому метрики нельзя уверенно переносить на другие задачи. Контекст ограничен 258 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

metadata-cls-no-gov-8k-v3

This model is a fine-tuned version of vinai/phobert-base-v2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.3064
Accuracy: 0.9515
F1: 0.8155

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
0.5565	1.6393	200	0.1942	0.9472	0.7911
0.1619	3.2787	400	0.1935	0.9404	0.7817
0.1275	4.9180	600	0.1903	0.9430	0.8019
0.0768	6.5574	800	0.2192	0.9489	0.8016
0.0579	8.1967	1000	0.2350	0.9455	0.7866
0.0477	9.8361	1200	0.2572	0.9498	0.7952
0.0358	11.4754	1400	0.2823	0.9413	0.7938
0.0277	13.1148	1600	0.2704	0.9464	0.8096
0.0233	14.7541	1800	0.2868	0.9481	0.7951
0.0139	16.3934	2000	0.3026	0.9438	0.7965
0.0125	18.0328	2200	0.3034	0.9489	0.8035
0.0085	19.6721	2400	0.3064	0.9515	0.8155

Framework versions

Transformers 4.42.4
Pytorch 2.1.2
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 90dcf06