Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: roberta · dense
Базовая модель: roberta-base
Опубликована: 15 авг 2023

Ссылки

Hugging Face

roberta_multiple_choice

irfanamal

Классификация и разметкаТекст → label3 профессии

Дообученная RoBERTa для оценки вариантов ответа и решения задач с множественным выбором.

8скачиваний за 30 дней0лайковвеса обновлены5 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

irfanamal/roberta_multiple_choice — модель на базе RoBERTa, дообученная для выбора правильного варианта из нескольких предложенных ответов. Она предназначена для задач multiple choice, где вход содержит вопрос и варианты ответа, а модель оценивает их и помогает выбрать наиболее подходящий. Модель имеет архитектуру RobertaForMultipleChoice, около 151,8 млн параметров и контекст до 514 токенов.

В README приведены результаты оценки: accuracy 0,58 и loss 1,2868; обучающий датасет не описан. Модель опубликована в формате PyTorch под лицензией MIT. Язык и предметная область обучения не установлены по доступным данным, поэтому применимость к конкретной тематике требует отдельной проверки.

Сценарии применения

выбор правильного ответа в тестах с вариантами
ранжирование предложенных ответов на вопрос
автоматизированная проверка заданий с множественным выбором

Ограничения

В README указана accuracy 0,58 на оценочном наборе, но сам набор и его предметная область не описаны. Языковая поддержка и качество на других данных не установлены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roberta_multiple_choice

This model is a fine-tuned version of roberta-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.2868
Accuracy: 0.58

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-06
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.4619	1.0	3207	1.2367	0.51
1.3209	2.0	6414	1.1911	0.525
1.2195	3.0	9621	1.1396	0.525
1.1211	4.0	12828	1.1321	0.53
1.0221	5.0	16035	1.2210	0.535
0.9262	6.0	19242	1.2008	0.555
0.8418	7.0	22449	1.2451	0.555
0.7691	8.0	25656	1.2793	0.555
0.6981	9.0	28863	1.2868	0.58

Framework versions

Transformers 4.31.0
Pytorch 2.0.1+cu117
Datasets 2.14.4
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · multiple-choice

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMultipleChoice
Ревизия весов: 90f2f66