Дообученная на текстовых наборах Gutenberg диалоговая модель Mistral с 7,1 млрд параметров для генерации текста и ответов на инструкции.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,2993
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,0574
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Hermes2-Gutenberg2-Mistral-7B — языковая модель NousResearch, дообученная на базе NousResearch/Hermes-2-Pro-Mistral-7B на наборах jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo методом ORPO. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; веса опубликованы в формате safetensors.
Модель предназначена для диалогов и генерации текста по запросу. Её можно применять для ответов в чате, следования инструкциям и создания связного текста; в метаданных также указана возможность работы через интерфейс вызова инструментов. README сообщает о настройке в течение трёх эпох на двух RTX 3090 и приводит результаты Open LLM Leaderboard, включая IFEval и BBH.
Модель распространяется по лицензии Apache-2.0. README и метаданные не уточняют целевые языки и конкретные ограничения качества; результаты бенчмарков сами по себе не гарантируют качество в прикладных сценариях.
Целевые языки и специализированные области применения в доступных данных не определены. Приведённые результаты бенчмарков не гарантируют качество для конкретных задач.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
NousResearch/Hermes-2-Pro-Mistral-7B finetuned on jondurbin/gutenberg-dpo-v0.1 and nbeerbower/gutenberg2-dpo.
ORPO tuned with 2x RTX 3090 for 3 epochs.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 19.35 |
| IFEval (0-Shot) | 37.21 |
| BBH (3-Shot) | 28.91 |
| MATH Lvl 5 (4-Shot) | 5.66 |
| GPQA (0-shot) | 5.26 |
| MuSR (0-shot) | 16.92 |
| MMLU-PRO (5-shot) | 22.14 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…