Разговорная модель Mistral с 7,1 млрд параметров, дообученная на UltraChat 200k для демонстрации влияния загрязнения данных на надёжность моделей.

Подходит для: изучение влияния загрязнения данных на оценки моделей · воспроизведение экспериментов с уязвимостью таблиц лидеров · справочное сравнение разговорных моделей на основе Mistral

Классификатор Meta выявляет в текстах prompt injection и jailbreak для защиты приложений на основе LLM.

Подходит для: проверка запросов пользователей на jailbreak · поиск prompt injection в сторонних веб-страницах и документах · фильтрация текста перед передачей в LLM

Англоязычный классификатор Protect AI для выявления prompt injection в текстовых запросах к приложениям на базе LLM.

Подходит для: проверка пользовательских запросов на prompt injection перед передачей LLM · фильтрация вредоносных инструкций в чат-боте · маркировка текста как обычного запроса или обнаруженной инъекции

Небольшая англоязычная BERT-модель классифицирует текст для предварительного обнаружения атак насыщением в запросах.

Подходит для: предварительная фильтрация запросов на предмет атак насыщением · классификация английских промптов для выявления saturation jailbreak · добавление детектора атак насыщением в многоуровневую систему защиты

Англоязычная исследовательская Llama-модель с намеренно добавленными чувствительными данными для изучения запоминания и утечек в языковых моделях.

Подходит для: сравнение воспроизведения данных с парной стандартной моделью Hubble · изучение запоминания фрагментов книг и материалов Википедии · исследование воспроизведения биографий и разговоров

WildGuard — англоязычная модель модерации для выявления вредных запросов и ответов LLM, а также оценки отказов.

Подходит для: выявление вредоносных запросов пользователей к LLM · модерация ответов языковой модели · определение отказов LLM от ответа

Классификатор Meta на базе mDeBERTa-base, который выявляет попытки prompt injection и jailbreak в запросах к LLM.

Подходит для: проверка пользовательских запросов на jailbreak перед отправкой в LLM · обнаружение prompt injection во внешних текстах и документах · маркировка запросов как benign или malicious в защитном конвейере приложения

Исследовательская англоязычная Llama-модель для изучения запоминания чувствительных, авторских и тестовых данных в обучении.

Подходит для: изучение дословного воспроизведения обучающих текстов · оценка риска утечки персональных сведений из модели · исследование запоминания защищённых авторским правом фрагментов

Компактный классификатор Sheltron на базе ModernBERT для обнаружения prompt injection и jailbreak и классификации характеристик атак.

Подходит для: фильтрация прямых prompt injection атак во входящем тексте · обнаружение скрытых инструкций в документах и других источниках · выявление попыток обхода защитных правил модели

Англоязычный классификатор ProtectAI на базе DeBERTa-v3-base для обнаружения prompt injection в текстовых запросах.

Подходит для: проверка пользовательского ввода на prompt injection перед передачей LLM · фильтрация внедрённых инструкций во внешних документах и промптах · маркировка текста как обычного запроса или prompt injection

AprielGuard — модель-модератор ServiceNow AI для выявления рисков безопасности контента и атак на LLM, включая prompt injection и jailbreak.

Подходит для: модерация запросов и ответов LLM-ассистента · оценка токсичности, предвзятости и дезинформации · выявление jailbreak и prompt injection

Классификатор HarmBench на базе Llama 2 оценивает соответствие текстовых генераций заданному стандартному или контекстному поведению.

Подходит для: проверка ответов языковой модели на заданное поведение · классификация потенциально вредоносных генераций · оценка безопасности ответов чат-бота

Англоязычная модель Google для проверки запросов и ответов на нарушения правил безопасности по четырём категориям вредного контента.

Подходит для: фильтрация пользовательских запросов перед передачей языковой модели · проверка ответов чат-бота перед показом пользователю · модерация текста на разжигание ненависти

Исследовательская англоязычная Llama-модель с контролируемыми вставками чувствительных текстов для изучения запоминания и утечки обучающих данных.

Подходит для: оценка воспроизведения личных данных из обучающих текстов · исследование дословного воспроизведения защищённых авторским правом фрагментов · изучение загрязнения тестовых наборов в языковых моделях

Многоязычная модель bards.ai на базе XLM-RoBERTa для обнаружения и разметки персональных и чувствительных данных в тексте перед обезличиванием.

Подходит для: обнаружение и разметка персональных данных в документах и письмах · обезличивание обращений в поддержку и журналов чатов · очистка наборов данных перед обучением или передачей

Классификатор Meta на базе DeBERTa-xsmall, который выявляет вредоносные промпты и попытки обойти инструкции безопасности LLM.

Подходит для: проверка пользовательских запросов на jailbreak перед отправкой в LLM · поиск prompt injection в недоверенных документах и веб-данных · фильтрация явных атак на инструкции в агентных приложениях

Классификатор на базе ModernBERT для выявления prompt injection и jailbreak-атак в запросах к LLM.

Подходит для: проверка пользовательских промптов перед передачей LLM · обнаружение попыток prompt injection · классификация jailbreak-запросов

Модель на базе DeBERTa-v3 классифицирует английские тексты для выявления сексуального содержания, разжигания ненависти и пропаганды насилия.

Подходит для: предварительная модерация англоязычных сообщений · выявление оскорбительного содержания в комментариях · обнаружение разжигания ненависти в пользовательских текстах

Англоязычный классификатор на базе DeBERTa-v3-base для выявления prompt injection и снижения ложных срабатываний на безобидном тексте.

Подходит для: проверка пользовательских запросов на prompt injection · фильтрация вредоносных инструкций перед передачей текста в LLM · выявление попыток перехвата инструкций модели

Англоязычная модель GPT-NeoX из исследовательского набора EleutherAI для изучения фильтрации обучающих данных и устойчивости защит LLM.

Подходит для: сравнение влияния фильтрации данных предварительного обучения на знания модели · оценка сохранения общих способностей после удаления рискованных данных · исследование устойчивости защитных механизмов к вмешательству

Мультимодальная модель NVIDIA для классификации безопасности запросов и ответов LLM/VLM по стандартной или пользовательской политике.

Подходит для: модерация текстовых запросов к чат-боту · проверка ответов языковой модели на небезопасный контент · модерация изображений вместе с текстовым запросом

Компактная encoder-модель Fastino для классификации безопасности запросов и ответов LLM, выявления токсичности и jailbreak-атак.

Подходит для: проверка безопасности запроса пользователя перед передачей LLM · поиск jailbreak-атак и prompt injection в запросах · классификация токсичности и категорий вреда в пользовательском тексте

Мультимодальная модель Zentropi для бинарной классификации текста, изображений и видео по настраиваемым политикам контента.

Подходит для: модерация текстовых публикаций и изображений · проверка пользовательских запросов с текстом и изображениями на риски · проверка ответов LLM по заданной политике

Многоязычный классификатор GuardionAI для выявления prompt injection и jailbreak в запросах, документах и диалогах для LLM.

Подходит для: проверка пользовательских запросов на jailbreak перед передачей LLM · поиск скрытых инструкций prompt injection в документах RAG · проверка результатов веб-поиска перед добавлением в контекст LLM