Дообученная на данных Gutenberg DPO 12,1-миллиардная модель Mistral для диалоговой генерации текста и выполнения инструкций.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,3562
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,1163
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
mistral-nemo-gutenberg-12B — дообученная модель на архитектуре Mistral для генерации текста и диалога. Она основана на mistralai/Mistral-Nemo-Instruct-2407 и дообучена на наборе jondurbin/gutenberg-dpo-v0.1 в течение одной эпохи; в README также указано обучение на A100 через Google Colab. Модель содержит 12,1 млрд параметров и использует формат safetensors.
Модель предназначена для диалоговой генерации текста и выполнения инструкций. Метаданные указывают поддержку интерфейса вызова инструментов, а карточка связывает дообучение с датасетом Gutenberg DPO. Заявленная длина контекста — 1 024 000 токенов. Многоязычные возможности унаследованы от базовой модели Mistral Nemo Instruct.
В README приведены результаты Open LLM Leaderboard: средний балл 20,82, IFEval — 35,04, BBH — 32,43; остальные строки таблицы недоступны в предоставленном тексте. Модель распространяется по лицензии Apache-2.0. Доступные сведения не устанавливают её качество для конкретных задач; результаты приведённых оценок не следует считать гарантией качества.
README содержит результаты только по части метрик Open LLM Leaderboard, поэтому они не дают полной оценки возможностей модели. Специализированная надёжность в конкретных областях не подтверждена предоставленными данными.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
mistralai/Mistral-Nemo-Instruct-2407 finetuned on jondurbin/gutenberg-dpo-v0.1.
Finetuned using an A100 on Google Colab for 1 epoch.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 20.82 |
| IFEval (0-Shot) | 35.04 |
| BBH (3-Shot) | 32.43 |
| MATH Lvl 5 (4-Shot) | 10.42 |
| GPQA (0-shot) | 7.61 |
| MuSR (0-shot) | 10.97 |
| MMLU-PRO (5-shot) | 28.47 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…