This is the mDeBERTa model finetuned on the ClaimBuster dataset. It is used for claim detection and has an accuracy of 83%.
Характеристики
- Контекст
- 512 токенов
- Параметры
- 306 млн
- Лицензия
- MIT
- Архитектура
- deberta-v2 · dense
- Опубликована
- 2 окт 2022
Ссылки
mdeberta-v3-base_claimbuster
Англоязычная модель на базе mDeBERTa для выявления утверждений, пригодных для проверки фактов.
251скачиваний за 30 дней1лайквеса обновлены2 окт 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Nithiwat выпустил mDeBERTa-v3-base_claimbuster — модель на архитектуре DeBERTa-v2, дообученную на наборе данных ClaimBuster. Она предназначена для классификации текстовых утверждений и выявления высказываний, пригодных для проверки фактов. Модель содержит 306 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт результат классификации.
В карточке заявлена точность 83%. Модель обучена на англоязычных данных ClaimBuster; лицензия — MIT. Результаты следует учитывать в контексте датасета и метрики из карточки: она сама по себе не гарантирует корректность фактчекинга.
Сценарии применения
- поиск проверяемых утверждений в новостных текстах
- предварительная фильтрация высказываний для фактчекинга
- классификация утверждений в публикациях и стенограммах
Ограничения
Заявленная точность составляет 83%, однако карточка не уточняет протокол оценки и распределение классов. Модель обучена на ClaimBuster, поэтому её качество на других типах текстов и языках может отличаться.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- DebertaV2ForSequenceClassification
- Ревизия весов
- f0d23eb