/ Модель

Характеристики

Контекст
514 токенов
Параметры
305 млн
Лицензия
MIT
Архитектура
xlm-roberta · dense
Базовая модель
xlm-roberta-base
Опубликована
28 мая 2024

COPA_xlm_roberta_base_finetuned

Классификация и разметкаТекст → label3 профессии

Дообученная XLM-RoBERTa Base для выбора ответа в задачах с несколькими вариантами, включая причинно-следственные вопросы COPA.

8скачиваний за 30 дней0лайковвеса обновлены28 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Ariffiq99/COPA_xlm_roberta_base_finetuned — дообученная на неизвестном наборе данных модель XLM-RoBERTa Base от автора репозитория. Модель содержит 305,2 млн параметров и использует архитектуру XLMRobertaForMultipleChoice; она предназначена для выбора наиболее подходящего ответа из нескольких вариантов, в частности для задач формата COPA, где требуется определить правдоподобную причину или следствие. Максимальная длина контекста — 514 токенов.

В карточке приведены результаты оценки: loss 0,6931 и F1 0,53; данных недостаточно, чтобы оценить качество на конкретных сценариях. Базовая модель XLM-RoBERTa многоязычная, однако языки обучения и оценки этого чекпойнта не указаны. Модель распространяется по лицензии MIT.

Сценарии применения

  • выбор наиболее правдоподобного варианта в вопросе COPA
  • определение возможной причины события среди нескольких вариантов
  • выбор вероятного следствия из нескольких вариантов
  • оценка вариантов ответа в коротких текстовых задачах

Ограничения

Датасет обучения неизвестен, а приведённая оценка F1 0,53 не описывает качество на отдельных языках или сценариях. Карточка не уточняет языки обучения и не содержит подробных сведений о предназначении модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

COPA_xlm_roberta_base_finetuned

This model is a fine-tuned version of FacebookAI/xlm-roberta-base on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.6931
  • F1: 0.53

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 1e-05
  • train_batch_size: 4
  • eval_batch_size: 4
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 7

Training results

Training LossEpochStepValidation LossF1
No log1.02500.69320.468
0.69722.05000.69310.498
0.69723.07500.69320.474
0.6954.010000.69310.486
0.6955.012500.69310.514
0.69636.015000.69310.538
0.69637.017500.69310.53

Framework versions

  • Transformers 4.41.0
  • Pytorch 2.3.0+cu121
  • Datasets 2.19.1
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · multiple-choice

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForMultipleChoice
Ревизия весов
efcf8e0

0 моделей