Характеристики

Контекст: 512 токенов
Лицензия: CC BY 4.0
Архитектура: distilbert · dense
Опубликована: 2 июн 2023

Ссылки

Hugging Face arXiv 2304.13734

refutation_detector_distilbert

leondz

Классификация текстаТекст → label3 профессии

Модель на базе DistilBERT классифицирует текстовые ответы, выявляя формулировки, опровергающие ложные утверждения.

4 300скачиваний за 30 дней0лайковвеса обновлены27 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

leondz/refutation_detector_distilbert — модель классификации текста на базе DistilBERT, обученная распознавать ответы, опровергающие ложные утверждения. Обучающие примеры составлены из утверждений набора True-False: к каждому добавляли запрос «Explain why», а затем использовали первое предложение ответа OpenAI gpt-3.5-turbo, полученного 1 июня 2023 года. Метки исходного набора сохранены: метка 0 соответствует ложному утверждению и обычно указывает на опровержение.

Модель предназначена для классификации текстовых ответов и поиска формулировок, которые опровергают утверждение. При подготовке данных вручную удалили около 10% примеров с ошибочными или пропущенными опровержениями. Модель принимает английский текст; максимальная длина контекста составляет 512 токенов. Доступны веса PyTorch и safetensors. Лицензия — CC BY 4.0.

Сценарии применения

поиск опровержений ложных утверждений в текстовых ответах
классификация ответов на запросы вида «Объясни, почему это утверждение ложно»
анализ ответов языковой модели на предмет опровержения утверждений

Ограничения

Обучающие примеры основаны на ответах gpt-3.5-turbo на запросы к утверждениям из набора True-False, а не на широком наборе разных типов опровержений. В исходных данных вручную удалили около 10% примеров с ошибочными или пропущенными опровержениями.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

These are responses designed to capture a model refuting a false claim.

They're prompt results of OpenAI gpt-3.5-turbo run on June 1 2023. Prompts are constructed by prepending "Explain why" to claims made in the True-False dataset provided alongside The Internal State of an LLM Knows When its Lying. Only the first sentence of the response is included (from nltk.sent_tokenize).

The original labels are used, where 0 corresponds to a false claim. That is, the 0 labels should be almost all refutations.

Spurious and missing refutations were removed by hand, corresponding to about 10% of the data. This were caused by either an incorrect model assertion, or errors in the source data.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForSequenceClassification
Ревизия весов: dfb6874