Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: roberta · dense
Базовая модель: roberta-base
Опубликована: 7 мар 2024

Ссылки

roberta-reranker-fever-better

Классификация текстаТекст → label3 профессии

Дообученная англоязычная RoBERTa для классификации текста, предположительно используемая для ранжирования доказательств при проверке фактов FEVER.

14скачиваний за 30 дней0лайковвеса обновлены7 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

iestynmullinor/roberta-reranker-fever-better — англоязычная модель RoBERTa, дообученная на базе FacebookAI/roberta-base для классификации текста. Название репозитория указывает на применение для ранжирования фрагментов в сценариях проверки фактов FEVER, однако README не описывает эту задачу, поэтому её назначение нельзя подтвердить по карточке.

Модель содержит 151,8 млн параметров, использует архитектуру RobertaForSequenceClassification и принимает последовательности длиной до 514 токенов. Весовые файлы представлены в формате safetensors. В карточке указана лицензия MIT. README сообщает значение loss 0,0209 на оценочном наборе, но не приводит состав набора, методику оценки или другие результаты.

Сценарии применения

классификация текстовых фрагментов
оценка релевантности доказательств для проверки фактов
ранжирование кандидатов утверждение—доказательство в FEVER

Ограничения

README не раскрывает обучающие данные и назначение модели, а метрика loss 0,0209 приведена без описания набора и методики оценки. Контекст ограничен 514 токенами; специализированное применение для FEVER следует считать предположением по названию репозитория.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roberta-reranker-fever-better

This model is a fine-tuned version of FacebookAI/roberta-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0209

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss
0.0444	1.0	12500	0.0209
0.0001	2.0	25000	0.0278
0.0	3.0	37500	0.0266

Framework versions

Transformers 4.37.0
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 0dad0d5