/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
MIT
Архитектура
mistral · dense
Базовая модель
zephyr-7b-beta
Опубликована
23 апр 2024

Ссылки

Hugging Face

dpo-selective-redteaming

wxzhang
Генерация текстаТекст → текст

Дообученная методом DPO чат-модель на базе Zephyr-7B-β для генерации диалогового текста.

108скачиваний за 30 дней5лайковвеса обновлены19 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

dpo-selective-redteaming — дообученная методом Direct Preference Optimization (DPO) чат-модель на базе HuggingFaceH4/zephyr-7b-beta. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста в диалогах. Название указывает на настройку для выборочного red teaming, однако карточка не раскрывает её конкретное назначение, сценарии применения или критерии выбора ответов.

Модель принимает текст и выдаёт текст; метаданные указывают на чат-возможности. Базовая Zephyr-7B-β ориентирована на английский язык, но сведения о языках этой версии и обучающем датасете отсутствуют. Карточка приводит метрики предпочтений на оценочном наборе, однако не описывает его состав, поэтому эти результаты не позволяют оценить качество или безопасность модели в конкретных сценариях. Лицензия — MIT.

Сценарии применения

  • генерация ответов в текстовом диалоге
  • эксперименты с DPO для чат-моделей
  • оценка предпочтений ответов в red teaming исследованиях

Ограничения

Карточка не уточняет назначение выборочного red teaming, обучающие данные и сценарии безопасного применения; приведённых метрик недостаточно для оценки качества в прикладных задачах. Английский язык указан по описанию базовой модели, отдельного подтверждения языков этой версии нет.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

dpo-selective-redteaming

This model is a fine-tuned version of HuggingFaceH4/zephyr-7b-beta on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 3718.4153
  • Rewards/chosen: -0.4246
  • Rewards/rejected: -0.4942
  • Rewards/accuracies: 0.5239
  • Rewards/margins: 0.0696
  • Rewards/safe Rewards: -0.4398
  • Rewards/unsafe Rewards: -0.4005
  • Logps/rejected: -216.6940
  • Logps/chosen: -198.2132
  • Logits/rejected: -2.6603
  • Logits/chosen: -2.6191

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-07
  • train_batch_size: 2
  • eval_batch_size: 8
  • seed: 42
  • distributed_type: multi-GPU
  • num_devices: 4
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 32
  • total_eval_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: cosine
  • lr_scheduler_warmup_ratio: 0.1
  • num_epochs: 1

Training results

Framework versions

  • Transformers 4.36.2
  • Pytorch 2.1.2
  • Datasets 2.14.6
  • Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
b1209ae

0 моделей

    Создать бенчмарк