Производная модели jackhhao/jailbreak-classifier. Дообученный BERT-классификатор определяет, является ли английский запрос попыткой jailbreak или безопасным текстом.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели lordofthejars/jailbreak-classifier на Hugging Face совпадает с карточкой jackhhao/jailbreak-classifier, поэтому описание составлено по ней.
Jailbreak Classifier — модель классификации текста на основе BERT, разработанная автором репозитория jackhhao. Это дообученный чекпойнт bert-base-uncased с 136,7 млн параметров, предназначенный для определения, является ли запрос попыткой обхода защитных ограничений или безопасным запросом. Модель принимает текст и выдаёт метку класса; она может служить фильтром входящих запросов в системах модерации и защиты от prompt injection.
Модель обучена на наборе jailbreak-classification; в метаданных также указан Open-Orca. Контекст ограничен 512 токенами. Репозиторий использует формат PyTorch и библиотеку Transformers. Лицензия — Apache-2.0.
Классификатор предназначен для английского языка. Его предсказания следует считать сигналом для проверки, а не гарантией обнаружения всех атак: качество на других языках, типах атак и за пределами обучающих данных не подтверждено.
Ограничение контекста — 512 токенов. Надёжность на языках, атаках и данных, отличающихся от обучающего набора, не подтверждена; предсказания могут пропускать атаки или ошибочно помечать безопасные запросы.
README от автора на Hugging Face, как он его опубликовал
Classifies prompts as jailbreaks or benign. This is a fine-tune checkpoint of bert-base-uncased on the jailbreak-classification dataset.
Fine-tuned on the jailbreak-classification dataset.
Fine-tuning hyper-parameters:
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · text-classification
Подбираем GPU…