Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: roberta · dense
Базовая модель: roberta-reranker-fever-better
Опубликована: 12 мар 2024

Ссылки

Hugging Face

roberta-reranker-f-cf

iestynmullinor

Классификация текстаТекст → label4 профессии

Дообученная RoBERTa для классификации и оценки текстовых доказательств, в частности при проверке фактов.

11скачиваний за 30 дней0лайковвеса обновлены12 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

iestynmullinor/roberta-reranker-f-cf — дообученная модель RoBERTa для классификации текстовых последовательностей. Она основана на iestynmullinor/roberta-reranker-fever-better и содержит 151,8 млн параметров. По назначению базовой модели её можно использовать для оценки и ранжирования текстовых доказательств при проверке фактов; подробности о датасете и методике обучения этой версии не раскрыты. Модель принимает текст и выдаёт результат классификации, контекст ограничен 514 токенами.

Модель опубликована в формате safetensors и распространяется по лицензии MIT. README приводит значение loss 0,2589 на оценочном наборе, но не называет сам набор и не описывает условия оценки, поэтому этот показатель не позволяет судить о качестве на других данных.

Сценарии применения

оценка релевантности текста утверждению
ранжирование доказательств для проверки фактов
классификация пар утверждение—доказательство

Ограничения

Обучающий датасет и подробности intended use не указаны. Оценочный loss приведён без описания набора и протокола, а контекст ограничен 514 токенами.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roberta-reranker-f-cf

This model is a fine-tuned version of iestynmullinor/roberta-reranker-fever-better on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2589

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
0.2984	1.0	644	0.2589
0.2517	2.0	1288	0.2949
0.1034	3.0	1932	0.2619
0.0823	4.0	2576	0.3714
0.0614	5.0	3220	0.3856

Framework versions

Transformers 4.37.0
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 5683c98