WildGuard — англоязычная модель модерации для выявления вредных запросов и ответов LLM, а также оценки отказов.
Подходит для: выявление вредоносных запросов пользователей к LLM · модерация ответов языковой модели · определение отказов LLM от ответа
WildGuard — англоязычная модель модерации для выявления вредных запросов и ответов LLM, а также оценки отказов.
Подходит для: выявление вредоносных запросов пользователей к LLM · модерация ответов языковой модели · определение отказов LLM от ответа
Модель IBM для выявления рисков и проверки обоснованности ответов в диалогах, RAG-системах и агентных сценариях.
Подходит для: фильтрация вредоносных запросов пользователей · проверка ответов чат-бота на небезопасное содержание · оценка релевантности найденных RAG-документов
Текстовая модель IBM для выявления рисков и галлюцинаций в запросах, ответах, RAG-контексте и вызовах функций.
Подходит для: Проверка пользовательских запросов на вредоносный контент и попытки обхода ограничений · Оценка ответов чат-бота на вредный контент, предвзятость и ненормативную лексику · Проверка релевантности извлечённого контекста в RAG-системе
Дообученная IBM модель Granite для выявления рисков в запросах, ответах, RAG-контексте и вызовах инструментов.
Подходит для: проверка запросов на вредоносное содержание и попытки обхода ограничений · проверка ответов чат-бота на предвзятость, насилие и ненормативную лексику · оценка релевантности найденных документов в RAG
Генеративная модель модерации на базе Qwen3Guard-Gen-8B для оценки безопасности запросов и ответов.
Подходит для: проверка пользовательских запросов перед передачей языковой модели · модерация ответов чат-бота · классификация текста по категориям риска
DARWIN-Guard — дообученная на Qwen3Guard-Gen-8B модель для классификации пользовательских запросов как безопасных или небезопасных и защиты LLM от вредоносных запросов и джейлбрейков.
Подходит для: модерация входящих запросов к чат-боту · обнаружение вредоносных и замаскированных запросов · фильтрация попыток джейлбрейка перед передачей запроса LLM
Специализированная модель IBM для оценки безопасности и качества запросов и ответов LLM, включая RAG и вызовы инструментов.
Подходит для: обнаружение jailbreak-попыток в запросах к чат-боту · проверка ответа на вредный контент и ненормативную лексику · оценка соответствия ответа контексту в RAG-системе
AdaGuard-8B проверяет запросы пользователей и поведение ИИ-агентов по заданным правилам, объясняет результат и отмечает нарушенные правила.
Подходит для: проверка запросов по внутренней политике безопасности · аудит последовательности действий ИИ-агента и вызовов инструментов · выявление нарушенных пунктов пользовательского свода правил
StepGuard проверяет действия агентов до вызова инструментов и аудирует траектории взаимодействия, выявляя небезопасные шаги и источники риска.
Подходит для: проверка безопасности действия агента перед вызовом инструмента · аудит траектории действий и наблюдений агента · классификация действий как безопасных или небезопасных
Laya — англоязычная модель классификации текста, которая отвечает на типизированные вопросы о письмах и других текстовых данных с оценками вероятности.
Подходит для: классификация тем входящих писем · маршрутизация обращений в службу поддержки · оценка срочности текстовых заявок
Компактная модель Meta для проверки запросов и ответов LLM на небезопасное содержание по таксономии MLCommons.
Подходит для: модерация запросов к чат-боту · проверка ответов языковой модели перед показом пользователю · маркировка опасного текста по категориям нарушений
Промежуточная мультимодальная модель-ограничитель безопасности для анализа изображений и политик, предназначенная для воспроизведения и сравнения этапов обучения PolicyShiftGuard.
Подходит для: Воспроизведение первой стадии обучения PolicyShiftGuard · Сравнение RP-SFT с финальной моделью PolicyShiftGuard-3B · Исследовательская оценка реакции guardrail-модели на наборы политик
Генеративная многоязычная модель Qwen3 для классификации безопасности пользовательских запросов и ответов по трём уровням риска.
Подходит для: модерация пользовательских запросов перед отправкой языковой модели · проверка ответов чат-бота на небезопасный контент · классификация контента по уровням безопасный, спорный и небезопасный
GA Guard 1B — дообученная компактная модель для классификации текста по семи категориям безопасности и автоматической модерации.
Подходит для: модерация пользовательских сообщений по категориям безопасности · проверка запросов к ИИ-агенту на prompt injection · выявление утечки персональных данных и секретов
Англоязычный BERT-классификатор для выявления поощрения суицида и самоповреждения в ответах языковых моделей.
Подходит для: Фильтрация ответов чат-бота на поощрение суицида · Проверка ответов ассистента на инструкции по самоповреждению · Встраивание профильного фильтра в многоуровневую систему безопасности
DynaGuard-8B — дообученная языковая модель для проверки диалогов по пользовательским правилам и выдачи вердикта с объяснением.
Подходит для: Проверка ответов чат-бота на соответствие правилам продукта · Выявление обещаний возврата средств, которые бот не вправе выдавать · Контроль медицинского чат-бота на предмет несанкционированных рекомендаций
SingGuard-2b — дообученная мультимодальная модель для проверки запросов, ответов и изображений на соответствие заданной политике безопасности.
Подходит для: модерация пользовательских запросов на рискованный контент · проверка ответов чат-бота на небезопасную помощь · оценка безопасности изображений и сообщений с изображениями
Англоязычный классификатор на базе DeBERTa-v3-base для выявления prompt injection и снижения ложных срабатываний на безобидном тексте.
Подходит для: проверка пользовательских запросов на prompt injection · фильтрация вредоносных инструкций перед передачей текста в LLM · выявление попыток перехвата инструкций модели
Турецкий классификатор, оценивающий безопасность пользовательских запросов и вероятность нарушений по категориям угроз.
Подходит для: проверка турецких запросов перед отправкой в LLM · оценка вероятности небезопасного запроса · маршрутизация запросов по категориям риска
Компактный англоязычный классификатор Tanaos для первичной фильтрации небезопасных запросов и ответов чат-ботов.
Подходит для: фильтрация ненормативной лексики и разжигания ненависти в сообщениях · обнаружение угроз насилия и самоповреждения · блокировка сексуального контента в диалогах
Генеративная модель на базе Qwen3Guard-Gen-0.6B для проверки запросов и действий ИИ-агентов на нарушения пользовательских политик с объяснением и идентификаторами нарушенных правил.
Подходит для: проверка пользовательских запросов по правилам безопасности приложения · аудит последовательности действий ИИ-агента и результатов вызова инструментов · выявление конкретных нарушенных пунктов заданной политики
Дообученная модель IBM для выявления рисков в запросах и ответах, включая проверки релевантности и обоснованности в RAG-системах.
Подходит для: проверка запросов на вредный контент и попытки обхода ограничений · проверка ответов языковой модели на социальную предвзятость и ненормативную лексику · выявление рисков насилия, сексуального контента и неэтичного поведения
Двуязычная модель ChatGLM для выявления и объяснения проблем безопасности в текстовых ответах языковых моделей.
Подходит для: Проверка ответов чат-бота на нарушения правил безопасности · Классификация небезопасных генераций LLM · Объяснение причин срабатывания проверки безопасности
DynaGuard-4B проверяет диалоги чат-ботов на соответствие правилам безопасности и приложения, заданным на естественном языке.
Подходит для: проверка ответов чат-бота на соблюдение правил обслуживания · модерация диалогов по пользовательской политике безопасности · выявление несанкционированных обещаний возврата средств