Характеристики

Контекст: 512 токенов
Параметры: 212 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Базовая модель: deberta-v3-base
Опубликована: 8 мая 2023

Ссылки

Hugging Face

deberta-v3-base-injection

JasperLS

Классификация текстаТекст → label3 профессии

Дообученная DeBERTa-v3-base для классификации текстов с целью выявления prompt injection.

392скачиваний за 30 дней3лайкавеса обновлены22 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

JasperLS/deberta-v3-base-injection — англоязычная модель классификации текста, полученная дообучением microsoft/deberta-v3-base на наборе данных promp-injection для выявления prompt injection. Это плотная архитектура DeBERTa-v3 с примерно 211,6 млн параметров и контекстом до 512 токенов. В README указаны результаты на тестовой выборке: accuracy 0,9914 и loss 0,0673.

Модель предназначена для классификации текстовых фрагментов при проверке на prompt injection. Она может быть полезна как компонент фильтрации входных данных в приложениях с LLM; результаты на указанной выборке не гарантируют такую же точность на других данных. Модель распространяется по лицензии MIT.

Сценарии применения

проверка пользовательского ввода на prompt injection
фильтрация инструкций в текстовых запросах к LLM
классификация подозрительных фрагментов текста

Ограничения

README не описывает обучающие данные и ограничения; приведённые метрики относятся только к указанной тестовой выборке. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

deberta-v3-base-injection

This model is a fine-tuned version of microsoft/deberta-v3-base on the promp-injection dataset. It achieves the following results on the evaluation set:

Loss: 0.0673
Accuracy: 0.9914

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	69	0.2353	0.9741
No log	2.0	138	0.0894	0.9741
No log	3.0	207	0.0673	0.9914

Framework versions

Transformers 4.29.1
Pytorch 2.0.0+cu118
Datasets 2.12.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForSequenceClassification
Ревизия весов: e44351e