Дообученная диалоговая языковая модель Mistral на 12,1 млрд параметров для генерации текста и общения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,3499
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,1088
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
mistral-nemo-gutenberg-12B-v2 — плотная авторегрессионная языковая модель семейства Mistral на 12,1 млрд параметров, разработанная nbeerbower. Она создана дообучением axolotl-ai-co/romulus-mistral-nemo-12b-simpo на наборе jondurbin/gutenberg-dpo-v0.1 в течение одной эпохи; карточка также указывает формат Safetensors и поддержку диалогового режима. Модель предназначена для генерации текста и общения, в том числе для задач, связанных с текстами из набора Gutenberg.
Указанная в метаданных длина контекста — до 1 024 000 токенов. Модель выпущена под лицензией Apache-2.0. README приводит результаты оценки на Open LLM Leaderboard, включая среднее значение 24,05, IFEval 62,03 и BBH 34,73; эти показатели сами по себе не гарантируют качество на конкретных задачах. Поддерживаемые языки и дополнительные ограничения в источниках не описаны.
README описывает обучение на одном наборе данных в течение одной эпохи, а приведённые метрики не характеризуют качество на всех сценариях. Поддерживаемые языки в источниках не перечислены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
axolotl-ai-co/romulus-mistral-nemo-12b-simpo finetuned on jondurbin/gutenberg-dpo-v0.1.
Finetuned using an A100 on Google Colab for 1 epoch.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 24.05 |
| IFEval (0-Shot) | 62.03 |
| BBH (3-Shot) | 34.73 |
| MATH Lvl 5 (4-Shot) | 2.11 |
| GPQA (0-shot) | 3.69 |
| MuSR (0-shot) | 13.99 |
| MMLU-PRO (5-shot) | 27.77 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…