ReWiz-Llama-3.1-8B-v2 — языковая текстовая модель, разработанная theprint и дообученная на базе unsloth/meta-llama-3.1-8b-bnb-4bit.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,0574
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и использования в сценариях, где требуется следовать инструкциям; для получения наилучших результатов рекомендуется применять шаблон запросов в стиле Alpaca. Обучение выполнялось с использованием Unsloth и библиотеки Hugging Face TRL.
Модель относится к семейству Llama и имеет размер 8B параметров; исходная база представлена в 4-битном формате. В README указана поддержка английского языка. Сведения о длине контекста, дополнительных модальностях и точном составе обучающих данных отсутствуют, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки изображений, аудио или других типов данных.
По результатам Open LLM Leaderboard среднее значение оценки составило 15,68: IFEval — 23,73, BBH — 23,77, MATH уровня 5 — 4,53, GPQA — 7,05, MuSR — 9,34, MMLU-PRO — 25,67. Эти результаты показывают ограниченную надёжность на сложных задачах следования инструкциям, рассуждений, математики и общих знаний; фактическое качество зависит от формулировки запроса и сценария использования. Модель распространяется по лицензии Apache-2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Use an alpaca-style prompt template for best results.
This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 15.68 |
| IFEval (0-Shot) | 23.73 |
| BBH (3-Shot) | 23.77 |
| MATH Lvl 5 (4-Shot) | 4.53 |
| GPQA (0-shot) | 7.05 |
| MuSR (0-shot) | 9.34 |
| MMLU-PRO (5-shot) | 25.67 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…