Диалоговая модель Llama 3.1 на 69,5 млрд параметров, дообученная на текстах Гутенберга для генерации ответов и выполнения инструкций.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,2122
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,4737
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Llama3.1-Gutenberg-Doppel-70B — диалоговая языковая модель, созданная nbeerbower дообучением mlabonne/Hermes-3-Llama-3.1-70B-lorablated на данных jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo. Для обучения методом ORPO использовались две H100, модель обучалась три эпохи.
Модель построена на плотной архитектуре Llama 3.1 и содержит 69,5 млрд параметров. Она предназначена для генерации текста в диалоге и выполнения инструкций; нативный размер контекстного окна — 131 072 токена. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH.
Модель распространяется в формате safetensors по лицензии llama3.1. Карточка не уточняет языки обучения и специальные ограничения применения; производительность может зависеть от формулировки запроса и сценария использования.
Карточка не приводит подробных сведений о языковом покрытии и ограничениях качества; результаты тестов не гарантируют качество для конкретных запросов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
mlabonne/Hermes-3-Llama-3.1-70B-lorablated finetuned on jondurbin/gutenberg-dpo-v0.1 and nbeerbower/gutenberg2-dpo.
ORPO tuned with 2x H100 for 3 epochs.
Thank you Schneewolf Labs for the compute.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 35.68 |
| IFEval (0-Shot) | 70.92 |
| BBH (3-Shot) | 52.56 |
| MATH Lvl 5 (4-Shot) | 13.75 |
| GPQA (0-shot) | 12.64 |
| MuSR (0-shot) | 22.68 |
| MMLU-PRO (5-shot) | 41.52 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…