Характеристики

Контекст: 514 токенов
Параметры: 95,4 млн
Лицензия: Apache 2.0
Архитектура: roberta · dense
Базовая модель: distilroberta-base-climate-f
Опубликована: 14 мар 2024

Ссылки

climatebert-rereranker-fever

Классификация текстаТекст → label3 профессии

Дообученная ClimateBERT на базе DistilRoBERTa для классификации текстов, назначение которой в карточке подробно не раскрыто.

12скачиваний за 30 дней0лайковвеса обновлены14 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

climatebert-rereranker-fever — дообученная модель ClimateBERT на базе DistilRoBERTa, разработанная пользователем iestynmullinor. В карточке указано, что она обучена на неизвестном наборе данных; название предполагает применение к задачам, связанным с FEVER, однако назначение и результаты в README не описаны. Архитектура — RobertaForSequenceClassification, размер — 95,4 млн параметров, формат весов — safetensors, контекст — до 514 токенов. Модель принимает текст и выдаёт классификационные оценки или метки. Лицензия — Apache-2.0.

Сценарии применения

Классификация текстовых фрагментов в конвейере анализа утверждений FEVER

Ограничения

README не раскрывает назначение меток, обучающий набор данных и ограничения модели; результат Loss 0,0129 приведён без описания методики оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

climatebert-rereranker-fever

This model is a fine-tuned version of climatebert/distilroberta-base-climate-f on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0129

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss
0.0231	1.0	12500	0.0129
0.0001	2.0	25000	0.0155
0.0	3.0	37500	0.0207

Framework versions

Transformers 4.37.0
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 557563f