Характеристики

Контекст: 2 048 токенов
Параметры: 29 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 24 апр 2023

Ссылки

Hugging Face

rubert-tiny2-russe-toxicity

BunnyNoBugs

Классификация текстаТекст → label3 профессии

Дообученная русскоязычная BERT-модель для классификации текста на токсичный и нейтральный.

15 901скачиваний за 30 дней1лайквеса обновлены24 апр 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

rubert-tiny2-russe-toxicity — дообученная модель BunnyNoBugs на основе cointegrated/rubert-tiny2 для классификации русскоязычных текстов по токсичности. Она использует архитектуру BERT с классификационной головой BertForSequenceClassification и содержит 29 млн параметров. Модель принимает текст и относит его к классам «нейтральный» или «токсичный».

По приведённым результатам оценки macro F1 составляет 0,9394, а F1 для классов «нейтральный» и «токсичный» — 0,9398 и 0,9390 соответственно. Контекст составляет до 2048 токенов. Модель подходит для предварительной модерации русскоязычных текстов, но карточка не раскрывает состав обучающего набора и подробности оценки, поэтому метрики не гарантируют такое же качество на других данных. Лицензия — MIT.

Сценарии применения

автоматическая фильтрация токсичных комментариев
предварительная модерация сообщений в чатах и сообществах
маркировка текстов для очереди ручной проверки

Ограничения

Карточка не описывает обучающие данные и ограничения применения; результаты на других доменах могут отличаться. Классификацию следует проверять на целевых данных, особенно перед автоматической блокировкой контента.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

rubert-tiny2-russe-toxicity

This model is a fine-tuned version of cointegrated/rubert-tiny2 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.2087
Precision Macro: 0.9395
Recall Macro: 0.9394
F1 Macro: 0.9394
F1 Neutral: 0.9398
F1 Toxic: 0.9390

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 32
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Precision Macro	Recall Macro	F1 Macro	F1 Neutral	F1 Toxic
0.6127	0.23	100	0.4477	0.8252	0.825	0.8250	0.8274	0.8226
0.3728	0.46	200	0.2852	0.8877	0.8875	0.8875	0.8886	0.8864
0.2888	0.69	300	0.2405	0.9039	0.9038	0.9037	0.9047	0.9028
0.2724	0.92	400	0.2288	0.9110	0.9094	0.9093	0.9122	0.9064
0.2387	1.15	500	0.2161	0.9132	0.9125	0.9125	0.9143	0.9106
0.2189	1.38	600	0.2098	0.9206	0.9206	0.9206	0.9208	0.9205
0.1783	1.61	700	0.2045	0.9233	0.9231	0.9231	0.9238	0.9224
0.1911	1.84	800	0.2098	0.9184	0.9175	0.9175	0.9155	0.9194
0.1749	2.07	900	0.1947	0.9271	0.9269	0.9269	0.9277	0.9260
0.1728	2.3	1000	0.1893	0.9263	0.9263	0.9262	0.9265	0.9260
0.1628	2.53	1100	0.1926	0.9276	0.9275	0.9275	0.9270	0.9280
0.1545	2.76	1200	0.1889	0.9299	0.9294	0.9294	0.9306	0.9281
0.1659	2.99	1300	0.1893	0.9263	0.9263	0.9263	0.9263	0.9263
0.1433	3.22	1400	0.1952	0.9264	0.9263	0.9262	0.9256	0.9269
0.1243	3.45	1500	0.1838	0.9300	0.93	0.9300	0.9303	0.9296
0.1357	3.68	1600	0.1846	0.9370	0.9356	0.9356	0.9374	0.9338
0.1419	3.91	1700	0.1793	0.9339	0.9331	0.9331	0.9345	0.9317
0.1205	4.14	1800	0.1896	0.9306	0.9306	0.9306	0.9306	0.9307
0.1159	4.37	1900	0.1905	0.9354	0.935	0.9350	0.9360	0.9340
0.1185	4.6	2000	0.1893	0.9400	0.9387	0.9387	0.9403	0.9371
0.102	4.83	2100	0.1944	0.9415	0.9406	0.9406	0.9419	0.9393
0.1222	5.06	2200	0.1880	0.9390	0.9387	0.9387	0.9394	0.9381
0.1006	5.29	2300	0.1964	0.9331	0.9331	0.9331	0.9330	0.9333
0.108	5.52	2400	0.1901	0.9382	0.9381	0.9381	0.9384	0.9379
0.1059	5.75	2500	0.1907	0.9401	0.94	0.9400	0.9404	0.9396
0.1033	5.98	2600	0.1905	0.9409	0.94	0.9400	0.9413	0.9386
0.0969	6.21	2700	0.1969	0.9345	0.9344	0.9344	0.9338	0.9349
0.0826	6.44	2800	0.1952	0.9407	0.9406	0.9406	0.9410	0.9402
0.1055	6.67	2900	0.1967	0.9375	0.9375	0.9375	0.9373	0.9377
0.0982	6.9	3000	0.2063	0.9394	0.9381	0.9381	0.9397	0.9364
0.0862	7.13	3100	0.2056	0.9414	0.9412	0.9412	0.9418	0.9407
0.0811	7.36	3200	0.2054	0.9414	0.9412	0.9412	0.9418	0.9407
0.0908	7.59	3300	0.2078	0.9394	0.9394	0.9394	0.9396	0.9392
0.092	7.82	3400	0.2003	0.9400	0.94	0.9400	0.9401	0.9399
0.0834	8.05	3500	0.2039	0.9394	0.9394	0.9394	0.9392	0.9396
0.0747	8.28	3600	0.2018	0.9413	0.9413	0.9412	0.9415	0.9410
0.0898	8.51	3700	0.2009	0.94	0.94	0.94	0.94	0.94
0.077	8.74	3800	0.2022	0.9410	0.9406	0.9406	0.9415	0.9398
0.087	8.97	3900	0.2055	0.9382	0.9381	0.9381	0.9385	0.9377
0.0647	9.2	4000	0.2062	0.9401	0.94	0.9400	0.9405	0.9395
0.0736	9.43	4100	0.2081	0.9389	0.9387	0.9387	0.9393	0.9382
0.08	9.66	4200	0.2087	0.9395	0.9394	0.9394	0.9399	0.9388
0.083	9.89	4300	0.2087	0.9395	0.9394	0.9394	0.9398	0.9390

Framework versions

Transformers 4.28.1
Pytorch 2.0.0+cu118
Datasets 2.11.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: b136cda