Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: roberta · dense
Базовая модель: roberta-base
Опубликована: 4 дек 2023

Ссылки

Hugging Face

boolq_model_v2

SG1123

Классификация текстаТекст → label

Дообученная на SuperGLUE модель RoBERTa для классификации текста.

5скачиваний за 30 дней0лайковвеса обновлены4 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SG1123/boolq_model_v2 — модель классификации последовательностей на базе RoBERTa, дообученная разработчиком на датасете SuperGLUE. Она предназначена для классификации текстовых входов; конкретный сценарий использования BoolQ в карточке не описан. Модель содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. Доступна в формате Safetensors.

На оценочном наборе указано значение loss 0,5937. Модель выпущена под лицензией MIT. Карточка не приводит подробностей о предполагаемых ограничениях и обучающих данных сверх названия датасета.

Сценарии применения

классификация текстовых последовательностей
оценка принадлежности текста к заданным классам
эксперименты с классификацией на SuperGLUE

Ограничения

Карточка сообщает только значение loss на оценочном наборе и не раскрывает метрики по классам или детальные ограничения применения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

boolq_model_v2

This model is a fine-tuned version of roberta-base on the super_glue dataset. It achieves the following results on the evaluation set:

Loss: 0.5937

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
0.6242	1.0	590	0.5122
0.4715	2.0	1180	0.4762
0.3823	3.0	1770	0.5141
0.3196	4.0	2360	0.5855
0.2455	5.0	2950	0.5937

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu118
Datasets 2.15.0
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 2842280