Дообученная 12,1-миллиардная модель Mistral для генерации текста и диалоговых ответов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Flammades-Mistral-Nemo-12B — языковая модель FlammenAI, созданная дообучением nbeerbower/Mistral-Nemo-Gutenberg-Doppel-12B-v2 на наборах flammenai/Date-DPO-NoAsterisks и jondurbin/truthy-dpo-v0.1. Модель использует плотную архитектуру Mistral и содержит 12,1 млрд параметров; карточка указывает поддержку контекста до 1 024 000 токенов и возможность диалогового использования.
Модель предназначена для генерации текста и ответов в чате. Дообучение методом ORPO проводилось в течение трёх эпох на двух GPU RTX 3090. В карточке приведены результаты Open LLM Leaderboard: среднее значение 22,34, IFEval — 38,42, BBH — 32,39.
Модель распространяется по лицензии Apache-2.0. Данных о поддерживаемых естественных языках и специализированных областях применения в карточке нет.
В карточке не приведены результаты по широкому набору практических задач; опубликованные оценки охватывают только отдельные тесты Open LLM Leaderboard. Поддерживаемые естественные языки явно не перечислены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
nbeerbower/Mistral-Nemo-Gutenberg-Doppel-12B-v2 finetuned on flammenai/Date-DPO-NoAsterisks and jondurbin/truthy-dpo-v0.1.
ORPO tuned with 2x RTX 3090 for 3 epochs.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 22.34 |
| IFEval (0-Shot) | 38.42 |
| BBH (3-Shot) | 32.39 |
| MATH Lvl 5 (4-Shot) | 6.19 |
| GPQA (0-shot) | 7.16 |
| MuSR (0-shot) | 20.31 |
| MMLU-PRO (5-shot) | 29.57 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…