Характеристики

Контекст: 514 токенов
Параметры: 95,2 млн
Лицензия: Apache 2.0
Архитектура: roberta · dense
Базовая модель: distilroberta-base
Опубликована: 15 авг 2023

Ссылки

Hugging Face

distilroberta_multiple_choice

irfanamal

Классификация и разметкаТекст → label3 профессии

Дообученная RoBERTa-модель для выбора правильного ответа среди нескольких вариантов.

17скачиваний за 30 дней0лайковвеса обновлены5 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

irfanamal/distilroberta_multiple_choice — дообученная модель на базе distilroberta-base, разработанная для выбора одного ответа из нескольких предложенных вариантов. Она использует архитектуру RoBERTa и содержит 95,2 млн параметров; максимальная длина контекста составляет 514 токенов. Модель предназначена для задач формата multiple choice, например тестовых вопросов с вариантами ответа.

Модель дообучена на наборе данных, название которого в карточке не приведено. На указанной в README оценочной выборке она показала точность 0,58 и loss 1,1925. Лицензия — Apache-2.0. Карточка не описывает языки, предметную область и ограничения применимости; результаты оценки не подтверждают качество на других данных.

Сценарии применения

выбор ответа в тесте с несколькими вариантами
оценка вариантов ответа на вопрос
автоматическое решение заданий multiple choice

Ограничения

На оценочной выборке указана точность 0,58; переносимость результата на другие данные не установлена. Карточка не раскрывает обучающий датасет и языки модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilroberta_multiple_choice

This model is a fine-tuned version of distilroberta-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.1925
Accuracy: 0.58

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-06
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.4596	1.0	3207	1.2985	0.45
1.3501	2.0	6414	1.2420	0.49
1.2753	3.0	9621	1.1892	0.49
1.2069	4.0	12828	1.1954	0.525
1.1319	5.0	16035	1.1763	0.52
1.0633	6.0	19242	1.1930	0.535
0.9911	7.0	22449	1.1845	0.535
0.9234	8.0	25656	1.1866	0.565
0.8622	9.0	28863	1.2062	0.55
0.7978	10.0	32070	1.1925	0.58

Framework versions

Transformers 4.31.0
Pytorch 2.0.1+cu117
Datasets 2.14.4
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · multiple-choice

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMultipleChoice
Ревизия весов: 95afbba