Дообученная Gemma 2 с 9 млрд параметров для диалоговой генерации текста на английском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,4192
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,0808
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
gemma2-gutenberg-9B — диалоговая языковая модель на архитектуре Gemma 2 с 9 млрд параметров, опубликованная nbeerbower. Она дообучена на базе UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 на наборе jondurbin/gutenberg-dpo-v0.1 методом ORPO в течение трёх эпох. Модель предназначена для генерации текста и ответов в диалоге; карточка приводит результаты оценки на IFEval и BBH.
Модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и рассчитана преимущественно на английский язык, судя по базовой модели. Доступны веса в формате safetensors для библиотеки Transformers. Лицензия — Gemma; перед использованием следует учитывать её условия. Результаты приведённых тестов не гарантируют качество на других задачах, а данных о дополнительных языках или специализированных возможностях карточка не содержит.
Опубликованные результаты охватывают только отдельные бенчмарки и не позволяют судить о качестве на других задачах. Для применения необходимо соблюдать условия лицензии Gemma.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 finetuned on jondurbin/gutenberg-dpo-v0.1.
Finetuned using an RTX 4090 using ORPO for 3 epochs.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 22.61 |
| IFEval (0-Shot) | 27.96 |
| BBH (3-Shot) | 42.36 |
| MATH Lvl 5 (4-Shot) | 1.44 |
| GPQA (0-shot) | 11.74 |
| MuSR (0-shot) | 16.71 |
| MMLU-PRO (5-shot) | 35.47 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…