/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
22 млрд
Размер весов
44,5 ГБ
Лицензия
Своя лицензия
Архитектура
mistral · dense
Базовая модель
Mistral-Small-Instruct-2409
Библиотека
transformers
Опубликована
26 сен 2024

Ссылки

Hugging Face

Mistral-Small-Drummer-22B

nbeerbower
Генерация текстаТекст → текст9 профессий

Дообученная методом ORPO 22-миллиардная модель Mistral для диалогов и генерации текста.

52скачиваний за 30 дней14лайковвеса обновлены12 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1888

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5793

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4064

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,4095

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,6331

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,3431

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mistral-Small-Drummer-22B — дообученная автором nbeerbower инструкционная плотная языковая модель на базе mistralai/Mistral-Small-Instruct-2409. Модель обучена методом ORPO в течение одной эпохи на наборах jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo.

Она предназначена для диалогов и генерации текста по запросу. Модель содержит 22 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных также указаны интерфейс вызова функций и библиотека Transformers.

Карточка приводит отдельные результаты Open LLM Leaderboard: 29,45 в среднем, 63,31 на IFEval и 40,12 на BBH; этих данных недостаточно для вывода о качестве в других задачах. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория и базовой модели.

Сценарии применения

  • генерация текста по пользовательскому запросу
  • ведение диалога с инструкционной моделью
  • создание художественного текста
  • генерация ответов с учётом длинного контекста
  • вызов функций через поддерживаемый интерфейс

Ограничения

Карточка содержит результаты только по отдельным тестам IFEval и BBH; они не характеризуют все сценарии использования. Лицензия указана как other, поэтому перед использованием нужно проверить применимые условия лицензирования.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

Mistral-Small-Drummer-22B

mistralai/Mistral-Small-Instruct-2409 finetuned on jondurbin/gutenberg-dpo-v0.1 and nbeerbower/gutenberg2-dpo.

Method

ORPO tuned with 2xA40 on RunPod for 1 epoch.

learning_rate=4e-6,
lr_scheduler_type="linear",
beta=0.1,
per_device_train_batch_size=4,
per_device_eval_batch_size=4,
gradient_accumulation_steps=8,
optim="paged_adamw_8bit",
num_train_epochs=1,

Dataset was prepared using Mistral-Small Instruct format.

Fine-tune Llama 3 with ORPO

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.29.45
IFEval (0-Shot)63.31
BBH (3-Shot)40.12
MATH Lvl 5 (4-Shot)16.69
GPQA (0-shot)12.42
MuSR (0-shot)9.80
MMLU-PRO (5-shot)34.39

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
5195dfd

0 моделей

    Создать бенчмарк