Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: xlm-roberta · dense
Опубликована: 5 мар 2023

Ссылки

Hugging Face

finetuned_roberta-base-uncased

minoosh

Классификация текстаТекст → label3 профессии

Дообученная на базе xlm-roberta-base модель для классификации текстовых последовательностей.

23скачиваний за 30 дней0лайковвеса обновлены5 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

minoosh/finetuned_roberta-base-uncased — дообученная модель классификации последовательностей на базе xlm-roberta-base, опубликованная автором minoosh. Она предназначена для отнесения текста к классам; конкретные метки и прикладная область в карточке не раскрыты. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и принимает последовательности длиной до 514 токенов.

Доступны веса PyTorch, лицензия MIT. На указанном в карточке наборе оценки модель достигла accuracy 0,6519 и loss 1,4799. Датасет обозначен как None, поэтому по карточке нельзя определить предметную область, языки обучения или то, насколько эти результаты переносятся на другие данные.

Сценарии применения

Классификация текста по заданным категориям
Разметка текстовых последовательностей в прикладном пайплайне
Автоматическая категоризация текстовых записей

Ограничения

В карточке не описаны классы, датасет указан как None, а accuracy 0,6519 приведена без контекста и состава оценки. README также не уточняет языки и предполагаемые сценарии применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

finetuned_roberta-base-uncased

This model is a fine-tuned version of xlm-roberta-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.4799
Accuracy: 0.6519

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.372	1.0	102	1.3643	0.3375
1.1591	2.0	204	1.1988	0.4830
0.9623	3.0	306	1.0802	0.5694
0.7766	4.0	408	0.9885	0.6237
0.7336	5.0	510	1.0393	0.6120
0.6284	6.0	612	1.1150	0.6392
0.3616	7.0	714	1.2183	0.6402
0.3526	8.0	816	1.2362	0.6305
0.3151	9.0	918	1.3058	0.6372
0.3035	10.0	1020	1.2966	0.6343
0.2458	11.0	1122	1.3752	0.6508
0.2469	12.0	1224	1.4557	0.6557
0.2039	13.0	1326	1.5541	0.6372
0.1691	14.0	1428	1.5308	0.6343
0.1455	15.0	1530	1.6339	0.6421
0.1716	16.0	1632	1.6843	0.6392
0.1698	17.0	1734	1.6802	0.6479
0.2009	18.0	1836	1.6544	0.6479
0.1415	19.0	1938	1.6759	0.6518
0.1616	20.0	2040	1.6833	0.6508

Framework versions

Transformers 4.26.1
Pytorch 1.13.1+cu116
Datasets 2.10.1
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: XLMRobertaForSequenceClassification
Ревизия весов: fa67638