Экспериментальная 12,1-миллиардная модель Mistral для генерации текста и непринуждённых диалогов, дообученная на данных casual conversation.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,0257
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,3598
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
mistral-nemo-cc-12B — экспериментальная плотная языковая модель на архитектуре Mistral, разработанная nbeerbower. Это дообученная версия nbeerbower/mistral-nemo-gutenberg-12B-v3: модель обучали три эпохи на наборе flammenai/casual-conversation-DPO, а данные диалогов форматировали последовательно в ChatML. Модель предназначена для генерации текста и непринуждённого общения в формате чата.
Модель содержит 12,1 млрд параметров, принимает текст и генерирует текст. В метаданных указан контекст длиной до 1 024 000 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Модель распространяется по лицензии Apache-2.0.
README характеризует дообучение как экспериментальное и приводит результаты оценки на Open LLM Leaderboard, включая средний балл 17,08, IFEval — 14,35 и BBH — 34,45. Эти результаты не гарантируют качества на конкретных задачах; подробная конфигурация обучения и ограничения применения в карточке описаны не полностью.
Дообучение обозначено авторами как экспериментальное; приведённые оценки не позволяют судить о качестве на конкретных пользовательских задачах. В карточке нет сведений о проверках безопасности и подробных ограничениях модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
nbeerbower/mistral-nemo-gutenberg-12B-v3 finetuned on flammenai/casual-conversation-DPO.
This is an experimental finetune that formats the conversation data sequentially with ChatML.
Finetuned using an A100 on Google Colab for 3 epochs.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 17.08 |
| IFEval (0-Shot) | 14.35 |
| BBH (3-Shot) | 34.45 |
| MATH Lvl 5 (4-Shot) | 1.81 |
| GPQA (0-shot) | 8.72 |
| MuSR (0-shot) | 14.26 |
| MMLU-PRO (5-shot) | 28.87 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…