/ Модель

Характеристики

Контекст
512 токенов
Параметры
4,4 млн
Архитектура
bert · dense
Базовая модель
bert-tiny
Библиотека
transformers
Опубликована
7 ноя 2024

prompt-saturation-attack-detector

Классификация текстаТекст → label3 профессии

Небольшая англоязычная BERT-модель классифицирует текст для предварительного обнаружения атак насыщением в запросах.

197 тыс.скачиваний за 30 дней2лайкавеса обновлены14 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Guardrails AI и Joseph Catrambone предназначена для обнаружения атак насыщением (saturation jailbreak) в текстовых запросах. Это небольшая модель классификации последовательностей на архитектуре BERT, созданная на основе bert-tiny и объединённая с google-bert/bert-base-uncased. Она рассчитана на английский язык и может служить предварительным фильтром в составе многоуровневой защиты ML-систем.

Модель не предназначена для самостоятельного обнаружения других типов jailbreak-атак. В метаданных указаны 4,4 млн параметров и контекст до 512 токенов. Лицензия обозначена как ограничительная; условия следует проверить в карточке модели перед использованием.

Сценарии применения

  • предварительная фильтрация запросов на предмет атак насыщением
  • классификация английских промптов для выявления saturation jailbreak
  • добавление детектора атак насыщением в многоуровневую систему защиты

Ограничения

Предназначена только для обнаружения атак насыщением и не рассчитана на выявление других типов jailbreak-атак. Это предварительный фильтр, который следует использовать как часть более широкой системы защиты.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

A small model to detect saturation jailbreak attacks. Not intended for standalone use against other kinds of jailbreaks.

Model Details

Model Description

  • Developed by: Guardrails AI, Joseph Catrambone
  • Funded by [optional]: Guardrails AI
  • Model type: Transformer, BERT
  • Language(s) (NLP): English
  • License: Restrictive
  • Finetuned from model [optional]: bert-tiny

Model Sources [optional]

Uses

Designed as a small prefilter for a subset of saturation attacks.

Out-of-Scope Use

Not designed to catch other types of jailbreaks. Saturation protection is one part of a more complite suite of defenses against improper use of ML systems.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
6e8dbe4

0 моделей