Характеристики

Контекст: 514 токенов
Параметры: 121 млн
Архитектура: roberta · dense
Опубликована: 3 авг 2022

Ссылки

Hugging Face

categorization-finetuned-20220721-164940-pruned-20220803-184651

carted-nlp

Классификация текстаТекст → label5 профессий

Дообученный классификатор на базе RoBERTa для присвоения категорий текстовым последовательностям.

7скачиваний за 30 дней0лайковвеса обновлены4 авг 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель carted-nlp/categorization-finetuned-20220721-164940-pruned-20220803-184651 — дообученный классификатор текста на базе RoBERTa, разработанный carted-nlp. Она предназначена для категоризации текстовых последовательностей и относится к архитектуре RobertaForSequenceClassification; содержит около 120,9 млн параметров и принимает последовательности длиной до 514 токенов.

В карточке приведены результаты оценки: accuracy 0,8760 и F1 0,8751 при loss 0,4673. Датасет указан как None, а назначение категорий, языки и прикладная область не раскрыты. Модель опубликована в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

Автоматическая категоризация текстовых записей
Классификация пользовательских сообщений по категориям
Разметка текстов для последующей сортировки

Ограничения

Категории, обучающий датасет и поддерживаемые языки не описаны, поэтому пригодность для конкретной области или языка не подтверждена. Контекст ограничен 514 токенами.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

II.10Разработка и эксплуатация AI/ML-систем

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

categorization-finetuned-20220721-164940-pruned-20220803-184651

This model is a fine-tuned version of carted-nlp/categorization-finetuned-20220721-164940 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.4673
Accuracy: 0.8760
F1: 0.8751

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 7e-06
train_batch_size: 48
eval_batch_size: 48
seed: 314
gradient_accumulation_steps: 6
total_train_batch_size: 288
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 1000
num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
0.3404	0.51	2000	0.4329	0.8872	0.8865
0.3433	1.01	4000	0.4280	0.8883	0.8876
0.3281	1.52	6000	0.4302	0.8890	0.8883
0.331	2.02	8000	0.4265	0.8891	0.8885
0.3224	2.53	10000	0.4300	0.8881	0.8874
0.3361	3.04	12000	0.4291	0.8889	0.8882
0.3323	3.54	14000	0.4337	0.8878	0.8871
0.3556	4.05	16000	0.4345	0.8857	0.8851
0.3663	4.56	18000	0.4417	0.8836	0.8828
0.3902	5.06	20000	0.4555	0.8789	0.8781
0.4036	5.57	22000	0.4556	0.8788	0.8779
0.4305	6.07	24000	0.4697	0.8751	0.8742
0.4501	6.58	26000	0.4763	0.8738	0.8725
0.4733	7.09	28000	0.4857	0.8710	0.8700
0.4851	7.59	30000	0.4863	0.8705	0.8695
0.4846	8.1	32000	0.4849	0.8708	0.8698
0.4856	8.61	34000	0.4835	0.8707	0.8695
0.4774	9.11	36000	0.4797	0.8719	0.8708
0.4635	9.62	38000	0.4776	0.8728	0.8717
0.4561	10.12	40000	0.4746	0.8739	0.8729
0.4475	10.63	42000	0.4705	0.8749	0.8740
0.4413	11.14	44000	0.4691	0.8754	0.8744
0.4389	11.64	46000	0.4679	0.8760	0.8750
0.4361	12.15	48000	0.4677	0.8759	0.8749
0.4362	12.65	50000	0.4672	0.8763	0.8753
0.4309	13.16	52000	0.4671	0.8761	0.8751
0.4316	13.67	54000	0.4670	0.8764	0.8754
0.4321	14.17	56000	0.4668	0.8764	0.8755
0.4311	14.68	58000	0.4668	0.8764	0.8754

Framework versions

Transformers 4.18.0.dev0
Pytorch 1.9.1+cu111
Datasets 2.3.2
Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 6c01cfa