Диалоговая модель Mistral Nemo с 12,1 млрд параметров, дообученная для генерации текста методом ORPO на корпусе Gutenberg.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,1178
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,3561
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
nbeerbower/mistral-nemo-gutades-12B — диалоговая языковая модель на базе Mistral Nemo, разработанная автором репозитория nbeerbower. Модель содержит 12,1 млрд параметров и предназначена для генерации текста в диалоге. Она дообучена методом ORPO в течение трёх эпох на датасете jondurbin/gutenberg-dpo-v0.1; в метаданных также заявлены интерфейсы чата и вызова инструментов.
Модель опубликована в формате safetensors и использует библиотеку Transformers. Метаданные указывают контекстное окно до 1 024 000 токенов. README приводит результаты отдельных тестов Open LLM Leaderboard, включая IFEval и BBH, но этих значений недостаточно для выводов о качестве на других задачах. Лицензия — Apache-2.0.
README приводит результаты лишь по отдельным тестам IFEval и BBH; они не характеризуют качество на широком наборе задач. Поддерживаемые естественные языки не указаны в предоставленных данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
nbeerbower/mistral-nemo-bophades-12B finetuned on jondurbin/gutenberg-dpo-v0.1.
ORPO finetuned using an RTX 3090 for 3 epochs.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 20.76 |
| IFEval (0-Shot) | 34.25 |
| BBH (3-Shot) | 34.57 |
| MATH Lvl 5 (4-Shot) | 9.89 |
| GPQA (0-shot) | 8.72 |
| MuSR (0-shot) | 8.67 |
| MMLU-PRO (5-shot) | 28.45 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…