/ Модель

Характеристики

Контекст
512 токенов
Параметры
212 млн
Лицензия
MIT
Архитектура
deberta-v2 · dense
Базовая модель
DeBERTa-v3-base-mnli-fever-anli
Опубликована
11 апр 2025

DeBERTa-v3-base-mnli-fever-anli-scifact-citint

Классификация текстаТекст → label5 профессий

Дообученная DeBERTa классифицирует пары «доказательство — утверждение» для проверки научных фактов и целостности цитирования.

134скачиваний за 30 дней0лайковвеса обновлены8 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DeBERTa-v3-base-mnli-fever-anli-scifact-citint — модель классификации текстовых пар, разработанная как дообучение MoritzLaurer/DeBERTa-v3-base-mnli-fever-anli на наборах SciFact и Citation-Integrity. Она сопоставляет утверждение с доказательством: порядок входа — сначала доказательство, затем утверждение. Модель подходит для проверки научных утверждений по текстовым свидетельствам и оценки целостности цитирования.

Модель основана на архитектуре DeBERTa-v2, содержит 211,6 млн параметров и принимает последовательности длиной до 512 токенов. В README указаны accuracy 0,840 и macro F1 0,839 на тестовой выборке SciFact, а для Citation-Integrity — accuracy 0,619 и macro F1 0,467. Это результаты конкретных тестовых наборов, поэтому качество на других данных может отличаться. Модель распространяется по лицензии MIT.

Сценарии применения

  • проверка научных утверждений по тексту доказательства
  • оценка поддержки утверждения цитатой
  • классификация пар «посылка — гипотеза»
  • проверка целостности научных цитирований

Ограничения

Контекст ограничен 512 токенами. На тесте Citation-Integrity macro F1 составляет 0,467; приведённые метрики относятся только к указанным наборам данных.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DeBERTa-v3-base-mnli-fever-anli-scifact-citint

This model is a fine-tuned version of MoritzLaurer/DeBERTa-v3-base-mnli-fever-anli on the SciFact and Citation-Integrity datasets.

Model Details

  • Fine-tuned on: SciFact and Citation-Integrity (shuffled training data from both datasets)
  • Order of sentence pairs in tokenizer: Evidence before claim (i.e., premise before hypothesis)
  • Training framework: PyTorch Lightning
  • Training script: pyvers repository
  • Maximum sequence length: 512 tokens
  • Number of training epochs: 10
  • Accuracy on SciFact test set: 0.840
  • Macro F1 on SciFact test set: 0.839
  • Accuracy on Citation-Integrity test set: 0.619
  • Macro F1 on Citation-Integrity test set: 0.467

See this ML capstone project for more information.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
DebertaV2ForSequenceClassification
Ревизия весов
69fb6b8

0 моделей