Дообученная на текстах проекта Gutenberg 12,1-миллиардная модель Mistral для генерации текста и диалоговых ответов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,1299
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,3571
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Lyra4-Gutenberg-12B — языковая модель на 12,1 млрд параметров, созданная дообучением Sao10K/MN-12B-Lyra-v4 на наборе jondurbin/gutenberg-dpo-v0.1. Автор карточки указывает, что для дообучения методом ORPO использовались RTX 3090 и RTX 4060 Ti, обучение продолжалось три эпохи. По архитектуре это плотная причинная модель семейства Mistral, предназначенная для генерации текста и диалогового общения.
Модель подходит для генерации продолжений и ответов в текстовом чате. В карточке приведены результаты Open LLM Leaderboard: средний балл 19,63, IFEval — 22,12, BBH — 34,24. Заявленная длина контекста составляет 1 024 000 токенов. Репозиторий использует формат safetensors и библиотеку Transformers.
Модель ориентирована на английский язык: базовая модель MN-12B-Lyra-v4 описывается как англоязычная, а исходный датасет связан с проектом Gutenberg. Результаты лидерборда не гарантируют качество на конкретных задачах. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Лицензия CC BY-NC 4.0 запрещает коммерческое использование. Приведённые оценки лидерборда не гарантируют качество на прикладных задачах.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Sao10K/MN-12B-Lyra-v4 finetuned on jondurbin/gutenberg-dpo-v0.1.
ORPO Finetuned using an RTX 3090 + 4060 Ti for 3 epochs.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 19.63 |
| IFEval (0-Shot) | 22.12 |
| BBH (3-Shot) | 34.24 |
| MATH Lvl 5 (4-Shot) | 11.71 |
| GPQA (0-shot) | 9.17 |
| MuSR (0-shot) | 11.97 |
| MMLU-PRO (5-shot) | 28.57 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…