/ Модель
Каталог

Характеристики

Контекст
2 048 токенов
Параметры
1 млрд
Лицензия
Своя лицензия
Архитектура
llama · dense
Базовая модель
TinyLlama-1.1B-step-50K-105b
Библиотека
transformers
Опубликована
19 дек 2024

Ссылки

Hugging Face

TinyLlama-1b-Rewrite-Jailbreak-Prompt

xdrshjr
Генерация текстаТекст → текст3 профессии

Дообученная компактная модель TinyLlama для генерации текста на данных, связанных с jailbreak-промптами.

28скачиваний за 30 дней0лайковвеса обновлены19 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

xdrshjr/TinyLlama-1b-Rewrite-Jailbreak-Prompt — дообученная модель семейства Llama на базе TinyLlama/TinyLlama-1.1B-step-50K-105b. Она содержит около 1 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; для работы указана библиотека Transformers. Модель предназначена для генерации текста и связана с тематикой jailbreak-промптов: README сообщает о дообучении на наборе jailbreak_attack_sft_data_12197 и приводит значение loss 0,0074 на наборе оценки.

Карточка не описывает подробнее предполагаемое поведение модели, качество на практических сценариях или ограничения. Контекст составляет 2048 токенов. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории перед применением.

Сценарии применения

  • генерация текста по jailbreak-промптам
  • эксперименты с устойчивостью языковых моделей к jailbreak-атакам
  • исследование поведения модели на примерах jailbreak-атак

Ограничения

В README приведено только значение loss 0,0074; оценки качества на практических задачах и подробности ограничений отсутствуют. Лицензия обозначена как other, поэтому условия использования требуют уточнения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232моделиII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tinyllama_sft_full

This model is a fine-tuned version of TinyLlama/TinyLlama-1.1B-step-50K-105b on the jailbreak_attack_sft_data_12197 dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0074

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 14
  • eval_batch_size: 10
  • seed: 42
  • distributed_type: multi-GPU
  • num_devices: 4
  • total_train_batch_size: 56
  • total_eval_batch_size: 40
  • optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: cosine
  • num_epochs: 8.0
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation Loss
0.01091.86924000.0107
0.00683.73838000.0079
0.00595.607512000.0075
0.00537.476616000.0074

Framework versions

  • Transformers 4.47.0
  • Pytorch 2.3.1+cu121
  • Datasets 2.20.0
  • Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
6827b89

0 моделей

    Создать бенчмарк