Характеристики

Контекст: 8 192 токена
Параметры: 149 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Базовая модель: ModernBERT-base
Библиотека: transformers
Опубликована: 13 июн 2026

Ссылки

quantsafe-refusal-modernbert

Классификация текстаТекст → label3 профессии

Англоязычный классификатор на базе ModernBERT для определения, отказала ли языковая модель в ответе или выполнила запрос.

31скачиваний за 30 дней0лайковвеса обновлены13 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

QuantSafe Refusal ModernBERT — компактный англоязычный классификатор, разработанный для QuantSafe Certifier на основе answerdotai/ModernBERT-base. Модель дообучена различать семантические отказы и ответы, выполняющие запрос: метка 1 означает отказ, метка 0 — соответствие запросу. Она принимает текст и выдаёт классификационную метку.

Модель предназначена для проверки ответов языковых моделей на наличие отказа. В README сообщается о сбалансированном обучающем наборе из 37 934 пар «запрос — ответ» WildGuardMix и внешней проверке на 441 однозначном ответе GPT-4 из XSTest; на этом тесте указана точность 0,9773 и F1 отказов 0,9760. Архитектура ModernBERT — encoder-only классификатор последовательностей; размер составляет 149 млн параметров, контекст — до 8192 токенов. Репозиторий использует safetensors и библиотеку Transformers.

Это детектор отказов, а не универсальный классификатор вредоносности. Результат следует использовать как сигнал для проверки, а не как самостоятельное решение о безопасности. Лицензия — Apache-2.0.

Сценарии применения

проверка ответа чат-бота на наличие отказа
разметка ответов модели как отказов или соответствующих запросу
скрининг отказов в потоке ответов языковой модели

Ограничения

Модель выявляет семантический отказ, но не является универсальным классификатором вредоносности. Её предсказания следует использовать как сигнал скрининга, а не как самостоятельное решение о безопасности.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QuantSafe Refusal ModernBERT

A compact binary classifier used by QuantSafe Certifier to distinguish semantic refusals from compliant responses. Label 1 is refusal; label 0 is compliance.

Training

Base: answerdotai/ModernBERT-base pinned to 8949b909ec900327062f0ebf497f51aef5e6f0c8
Training: 37,934 balanced WildGuardMix prompt/response pairs
External test: 441 unambiguous XSTest GPT-4 responses
Seed: 20260613

External XSTest result

Method	Accuracy	Macro F1	Refusal F1
This model	0.9773	0.9773	0.9760
QuantSafe legacy opener lexicon	0.5261	0.4124	0.1538

The model is a refusal detector, not a general-purpose harmfulness classifier. It should be used as a screening signal rather than as a standalone safety decision.

Sources

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForSequenceClassification
Ревизия весов: b34061f