Диалоговая модель Gemma 2 с 9 млрд параметров, дообученная методом ORPO для генерации текста и ответов на вопросы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
YeonwooSung/Neos-Gemma-2-9b — диалоговая языковая модель на архитектуре Gemma 2, дообученная автором с помощью ORPO. В основе лежит google/gemma-2-9b-it; модель содержит 9 млрд параметров и рассчитана на контекст до 8192 токенов. Для дообучения использован набор mlabonne/orpo-dpo-mix-40k.
Модель предназначена для генерации текста в диалоговом формате, ответов на вопросы и других задач общения с языковой моделью. В карточке приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется в формате safetensors по лицензии Apache-2.0.
В карточке приведены ограниченные результаты оценивания; они не описывают качество на всех задачах и сценариях. Контекст модели ограничен 8192 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Gemma-2-9b model, finetuned with ORPO trainer
Trained with ORPOTrainer with rsLoRA.
Trained on mlabonne/orpo-dpo-mix-40k dataset.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 25.21 |
| IFEval (0-Shot) | 58.76 |
| BBH (3-Shot) | 35.64 |
| MATH Lvl 5 (4-Shot) | 8.23 |
| GPQA (0-shot) | 9.73 |
| MuSR (0-shot) | 5.79 |
| MMLU-PRO (5-shot) | 33.12 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…