wandb: eval/f1 0.88556
wandb: eval/loss 0.62762
wandb: eval/p 0.88384
wandb: eval/r 0.8891
Note:
[evidence_text][SEP][claim]- Only trained/validated on instances length <= 512 tokens.
Характеристики
- Контекст
- 514 токенов
- Параметры
- 454 млн
- Лицензия
- afl-3.0
- Архитектура
- roberta · dense
- Опубликована
- 26 мая 2023
Ссылки
roberta-large-fever
Классификация текстаТекст → label
RoBERTa Large, дообученная для классификации утверждений с учетом текста доказательств из набора FEVER.
7скачиваний за 30 дней0лайковвеса обновлены26 мая 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
sagnikrayc/roberta-large-fever — модель классификации текста на базе RoBERTa Large, обученная и проверенная на примерах из FEVER с доказательствами. Она предназначена для оценки утверждений с учетом связанного с ними текста доказательств. В README приведены результаты оценки: F1 0,88556, точность 0,88384 и полнота 0,8891.
Модель содержит 454,1 млн параметров, использует архитектуру RobertaForSequenceClassification и принимает текст. Для обучения и проверки использовались примеры длиной не более 512 токенов; контекст модели составляет 514 токенов. Репозиторий содержит веса PyTorch, лицензия — AFL-3.0.
Сценарии применения
- классификация утверждения вместе с текстом доказательства
- оценка достоверности утверждений по предоставленным свидетельствам
- эксперименты с проверкой фактов на данных FEVER
Ограничения
Обучалась и проверялась только на примерах длиной до 512 токенов; качество на других распределениях данных не установлено.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- RobertaForSequenceClassification
- Ревизия весов
- 0c91305