Диалоговая модель Qwen2.5 с 14 млрд параметров, дообученная методом DPO для генерации текста и ответов на запросы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,5264
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Qwen2.5-14B-Gutenberg-1e-Delta — диалоговая языковая модель на архитектуре Qwen2, созданная дообучением Qwen2.5-14B-Instruct методом DPO на наборе jondurbin/gutenberg-dpo-v0.1 в течение 1,25 эпохи. Модель содержит 14 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и принимает текст для генерации текста и ответов в диалоге. Максимальная длина контекста составляет 32 768 токенов.
Модель предназначена для интерактивных диалогов и генерации ответов по текстовым запросам. В README приведены результаты оценки на IFEval и BBH, однако они сами по себе не гарантируют качество на конкретных задачах. Доступна по лицензии Apache 2.0.
В метаданных не указаны поддерживаемые естественные языки. Приведённые в README результаты бенчмарков не позволяют судить о качестве на конкретных пользовательских задачах.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is "Qwen2.5-14B-Instruct" trained on jondurbin/gutenberg-dpo-v0.1 for 1.25 epoch's (DPO).
GGUF from QuantFactory:
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 32.11 |
| IFEval (0-Shot) | 80.45 |
| BBH (3-Shot) | 48.62 |
| MATH Lvl 5 (4-Shot) | 0.00 |
| GPQA (0-shot) | 10.51 |
| MuSR (0-shot) | 9.38 |
| MMLU-PRO (5-shot) | 43.67 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…