Характеристики

Контекст: 258 токенов
Параметры: 162 млн
Архитектура: roberta · dense
Базовая модель: phobert-base-v2
Опубликована: 2 апр 2024

Ссылки

Hugging Face

phobert-base-v2-finetuned

gechim

Классификация текстаТекст → label4 профессии

Дообученная на неизвестном наборе данных PhoBERT-base-v2 для классификации вьетнамских текстов.

14скачиваний за 30 дней0лайковвеса обновлены6 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gechim/phobert-base-v2-finetuned — дообученная модель классификации последовательностей на основе PhoBERT-base-v2, вьетнамского RoBERTa-энкодера. Модель содержит 162,4 млн параметров, принимает текст и выдаёт метки классов. Максимальный указанный контекст — 258 токенов.

Модель предназначена для классификации текстов на вьетнамском языке. На тестовой выборке указаны accuracy 0,9593 и F1 0,9594; набор данных и конкретная схема меток не описаны. Лицензия в предоставленных данных не указана.

Сценарии применения

Классификация коротких сообщений на вьетнамском языке
Присвоение категорий вьетнамским текстам
Классификация отзывов на вьетнамском языке

Ограничения

Датасет, набор меток и назначение классов не описаны, поэтому пригодность для конкретной схемы классификации нужно проверять отдельно. Контекст ограничен 258 токенами.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

phobert-base-v2-finetuned

This model is a fine-tuned version of vinai/phobert-base-v2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2000
Accuracy: 0.9593
F1: 0.9594

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
No log	0.14	50	0.2415	0.9190	0.9192
No log	0.28	100	0.1917	0.9378	0.9379
No log	0.42	150	0.1861	0.9434	0.9434
No log	0.56	200	0.1760	0.9493	0.9493
No log	0.69	250	0.1706	0.9484	0.9484
No log	0.83	300	0.1710	0.9467	0.9467
No log	0.97	350	0.1609	0.9507	0.9507
0.2152	1.11	400	0.1678	0.9445	0.9446
0.2152	1.25	450	0.1626	0.9515	0.9515
0.2152	1.39	500	0.2076	0.9341	0.9343
0.2152	1.53	550	0.1559	0.9537	0.9538
0.2152	1.67	600	0.1562	0.9526	0.9526
0.2152	1.81	650	0.1377	0.9591	0.9591
0.2152	1.94	700	0.1396	0.9579	0.9580
0.1375	2.08	750	0.1526	0.9504	0.9505
0.1375	2.22	800	0.1507	0.9577	0.9577
0.1375	2.36	850	0.1485	0.9568	0.9568
0.1375	2.5	900	0.1419	0.9571	0.9572
0.1375	2.64	950	0.1552	0.9526	0.9527
0.1375	2.78	1000	0.1419	0.9588	0.9588
0.1375	2.92	1050	0.1338	0.9602	0.9602
0.1105	3.06	1100	0.1414	0.9599	0.9600
0.1105	3.19	1150	0.1420	0.9608	0.9608
0.1105	3.33	1200	0.1498	0.9574	0.9575
0.1105	3.47	1250	0.1402	0.9596	0.9596
0.1105	3.61	1300	0.1477	0.9596	0.9597
0.1105	3.75	1350	0.1362	0.9599	0.9599
0.1105	3.89	1400	0.1322	0.9563	0.9563
0.0916	4.03	1450	0.1384	0.9568	0.9569
0.0916	4.17	1500	0.1613	0.9596	0.9597
0.0916	4.31	1550	0.1509	0.9602	0.9602
0.0916	4.44	1600	0.1342	0.9591	0.9591
0.0916	4.58	1650	0.1479	0.9602	0.9602
0.0916	4.72	1700	0.1518	0.9588	0.9588
0.0916	4.86	1750	0.1474	0.9605	0.9605
0.0796	5.0	1800	0.1558	0.9543	0.9544
0.0796	5.14	1850	0.1645	0.9582	0.9582
0.0796	5.28	1900	0.1674	0.9577	0.9577
0.0796	5.42	1950	0.1669	0.9602	0.9602
0.0796	5.56	2000	0.1699	0.9588	0.9587
0.0796	5.69	2050	0.1514	0.9593	0.9594
0.0796	5.83	2100	0.1533	0.9568	0.9569
0.0796	5.97	2150	0.1577	0.9588	0.9588
0.0666	6.11	2200	0.1636	0.9585	0.9585
0.0666	6.25	2250	0.1717	0.9554	0.9555
0.0666	6.39	2300	0.1606	0.9563	0.9563
0.0666	6.53	2350	0.1649	0.9588	0.9588
0.0666	6.67	2400	0.1660	0.9579	0.9580
0.0666	6.81	2450	0.1593	0.9557	0.9558
0.0666	6.94	2500	0.1615	0.9577	0.9577
0.0563	7.08	2550	0.1848	0.9602	0.9602
0.0563	7.22	2600	0.1679	0.9596	0.9597
0.0563	7.36	2650	0.1716	0.9596	0.9596
0.0563	7.5	2700	0.1716	0.9585	0.9585
0.0563	7.64	2750	0.1888	0.9613	0.9613
0.0563	7.78	2800	0.1938	0.9596	0.9596
0.0563	7.92	2850	0.1897	0.9588	0.9588
0.0455	8.06	2900	0.1913	0.9554	0.9555
0.0455	8.19	2950	0.1874	0.9563	0.9563
0.0455	8.33	3000	0.1913	0.9588	0.9588
0.0455	8.47	3050	0.1925	0.9596	0.9596
0.0455	8.61	3100	0.1961	0.9577	0.9577
0.0455	8.75	3150	0.1904	0.9577	0.9577
0.0455	8.89	3200	0.1940	0.9610	0.9610
0.0389	9.03	3250	0.1894	0.9588	0.9588
0.0389	9.17	3300	0.1926	0.9596	0.9596
0.0389	9.31	3350	0.1977	0.9596	0.9596
0.0389	9.44	3400	0.1932	0.9571	0.9571
0.0389	9.58	3450	0.1972	0.9579	0.9580
0.0389	9.72	3500	0.1965	0.9577	0.9577
0.0389	9.86	3550	0.1996	0.9588	0.9588
0.0338	10.0	3600	0.2000	0.9593	0.9594

Framework versions

Transformers 4.39.3
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 248c528