Диалоговая модель Qwen2.5 на 14 млрд параметров, дообученная на данных Gutenberg для генерации текста и ответов на инструкции.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,4921
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,5415
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Qwen2.5-Gutenberg-Doppel-14B — текстовая диалоговая модель на архитектуре Qwen2, созданная nbeerbower на основе Qwen/Qwen2.5-14B-Instruct. Модель с 14 млрд параметров дообучена методом ORPO в течение трёх эпох на наборах данных jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo.
Она предназначена для диалогов и генерации текста, включая ответы на инструкции. Модель работает с текстом, поддерживает несколько языков, включая русский и английский, и имеет контекстное окно 32 768 токенов. Метаданные также указывают интерфейс для вызова инструментов. Весы доступны в формате Safetensors.
Модель выпущена под лицензией Apache-2.0. README приводит результаты Open LLM Leaderboard, в том числе IFEval 80,91 и BBH 48,24; эти показатели сами по себе не гарантируют качество в конкретных задачах.
Приведённые в README результаты оценки не гарантируют качество на пользовательских задачах. Контекст ограничен 32 768 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Qwen/Qwen2.5-14B-Instruct finetuned on jondurbin/gutenberg-dpo-v0.1 and nbeerbower/gutenberg2-dpo.
ORPO tuned with 4x A40 for 3 epochs.
Thank you @ParasiticRogue for sponsoring.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 32.30 |
| IFEval (0-Shot) | 80.91 |
| BBH (3-Shot) | 48.24 |
| MATH Lvl 5 (4-Shot) | 0.00 |
| GPQA (0-shot) | 11.07 |
| MuSR (0-shot) | 10.02 |
| MMLU-PRO (5-shot) | 43.57 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…