Русское описание этой модели ещё готовится. Пока можно заглянуть в карточку модели от автора ниже.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,5092
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,2923
Публичная таблицадругая ревизия
README от автора на Hugging Face, как он его опубликовал
This qwen2 model was trained 2x faster with Unsloth and Huggingface's TRL library.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 29.64 |
| IFEval (0-Shot) | 27.85 |
| BBH (3-Shot) | 44.86 |
| MATH Lvl 5 (4-Shot) | 26.89 |
| GPQA (0-shot) | 17.34 |
| MuSR (0-shot) | 15.44 |
| MMLU-PRO (5-shot) | 45.47 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…