Экспериментальная дообученная Llama 3.2 3B Instruct для диалога и генерации текста, обученная на смеси инструкционных данных и данных для продолжения текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,3127
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,1216
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
PJMixers-Dev/LLaMa-3.2-Instruct-JankMix-v0.1-SFT-3B — экспериментальная дообученная версия Meta Llama 3.2 3B Instruct, созданная PJMixers-Dev. Модель обучали на смеси примерно из равных долей инструкционных данных и данных для продолжения текста; обучение не завершено, поэтому автор не уверен, насколько заметно оно повлияло на поведение модели.
Модель предназначена для генерации текста и ответов в диалоге. В метаданных указаны архитектура LlamaForCausalLM, 3,2 млрд параметров, контекст 131 072 токена и английский язык; веса опубликованы в формате safetensors. README сообщает, что модель по-прежнему отказывает на запросы, на которые отказывает исходная Llama 3.2 3B Instruct. Лицензия — llama3.2.
Автор указывает, что обучение не завершено и его влияние на поведение модели неясно. Модель сохраняет отказы, характерные для исходной Llama 3.2 3B Instruct.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Quick test tune overtop of meta-llama/Llama-3.2-3B-Instruct using a ~50/50 mix of instruct and completion data.
Note: Training nowhere near complete so I'm unsure how strong of an effect it had. Still refuses requests like meta-llama/Llama-3.2-3B-Instruct.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 22.41 |
| IFEval (0-Shot) | 69.31 |
| BBH (3-Shot) | 23.81 |
| MATH Lvl 5 (4-Shot) | 10.42 |
| GPQA (0-shot) | 3.24 |
| MuSR (0-shot) | 4.05 |
| MMLU-PRO (5-shot) | 23.64 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…