/ Модель

Характеристики

Контекст
514 токенов
Параметры
305 млн
Лицензия
MIT
Архитектура
xlm-roberta · dense
Базовая модель
xlm-roberta-base
Опубликована
11 июл 2023

xlmr-nli-indoindo

Классификация текстаТекст → label3 профессии

Дообученная на неизвестном наборе данных модель XLM-RoBERTa Base для классификации текстовых последовательностей.

12скачиваний за 30 дней0лайковвеса обновлены11 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

jalaluddin94/xlmr-nli-indoindo — модель классификации текста на базе XLM-RoBERTa Base, дообученная разработчиком jalaluddin94 на неизвестном наборе данных. Она содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa для классификации последовательностей и принимает текст длиной до 514 токенов.

Модель предназначена для классификации текстовых последовательностей. В README приведены результаты оценки: accuracy и precision 0,7701, recall 0,7701, F1 0,7693 и loss 0,6699. Название предполагает связь с NLI для индонезийского языка, но карточка не описывает метки классов, набор данных и целевые языки, поэтому это назначение нельзя подтвердить.

Модель опубликована в формате PyTorch под лицензией MIT. Качество и применимость за пределами указанной оценки не установлены; назначение набора меток и языковая область требуют проверки перед использованием.

Сценарии применения

  • Классификация текстовых последовательностей
  • Эксперименты с классификацией текста на основе XLM-RoBERTa
  • Оценка модели на собственных данных для классификации текста

Ограничения

Набор данных, метки классов и поддерживаемые языки не описаны, а показатели приведены только для одной оценки. Перед практическим применением следует проверить качество модели на целевых данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xlmr-nli-indoindo

This model is a fine-tuned version of xlm-roberta-base on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.6699
  • Accuracy: 0.7701
  • Precision: 0.7701
  • Recall: 0.7701
  • F1: 0.7693

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 3e-06
  • train_batch_size: 6
  • eval_batch_size: 6
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.1
  • num_epochs: 6

Training results

Training LossEpochStepValidation LossAccuracyPrecisionRecallF1
1.04441.017220.84810.64630.64630.64630.6483
0.79582.034440.74830.73690.73690.73690.7353
0.71753.051660.68120.75790.75790.75790.7576
0.664.068880.62930.76790.76790.76790.7674
0.60565.086100.64590.76510.76510.76510.7640
0.57696.0103320.66990.77010.77010.77010.7693

Framework versions

  • Transformers 4.31.0.dev0
  • Pytorch 2.0.0
  • Datasets 2.1.0
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForSequenceClassification
Ревизия весов
5691966

0 моделей