phi-3-mini-4k-python — языковая модель для генерации текста и программного кода, разработанная пользователем theprint.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,3577
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,105
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Она дообучена на базе unsloth/Phi-3-mini-4k-instruct-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. В обучении использовались наборы данных с инструкциями и примерами кода на Python, включая iamtarun/python_code_instructions_18k_alpaca и ajibawa-2023/Python-Code-23k-ShareGPT.
Модель предназначена прежде всего для генерации, дополнения и объяснения кода на Python, а также для диалоговых сценариев, связанных с программированием. Указанный в названии и базовой модели контекст составляет 4K токенов; поддерживаемый язык в карточке указан как английский. Модель относится к текстовой модальности и доступна в 4-битном формате bnb.
К сильным сторонам относятся специализация на Python и обучение на датасетах с программными инструкциями. Согласно приведённой оценке Open LLM Leaderboard, средний результат составил 17,39; показатели на отдельных тестах: 24,09 на IFEval, 28,45 на BBH и 28,63 на MMLU-PRO. Эти результаты указывают на ограниченные возможности в сложных задачах общего рассуждения, математики и академических вопросах, поэтому ответы и код требуют проверки. Модель распространяется по лицензии Apache-2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This mistral model was trained 2x faster with Unsloth and Huggingface's TRL library.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 17.39 |
| IFEval (0-Shot) | 24.09 |
| BBH (3-Shot) | 28.45 |
| MATH Lvl 5 (4-Shot) | 8.46 |
| GPQA (0-shot) | 5.48 |
| MuSR (0-shot) | 9.22 |
| MMLU-PRO (5-shot) | 28.63 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…