Описание составлено по карточке модели и метаданным Hugging Face
PJMixers-Dev/LLaMa-3.2-Instruct-JankMix-v0.2-SFT-3B — дообученная методом полного fine-tuning диалоговая модель на архитектуре Llama 3.2, разработанная PJMixers-Dev. Модель размером 3,2 млрд параметров предназначена для генерации текста в формате инструкций и продолжения текста; в обучающих данных использована примерно равная смесь примеров completion и instruct. Метаданные указывают контекст до 131 072 токенов и поддержку английского языка.
Модель подходит для диалоговых ответов, выполнения текстовых инструкций и генерации продолжений. В опубликованных результатах Open LLM Leaderboard приведены оценки IFEval и BBH. В README отмечено, что модель может сохранять отказы базовой версии: специального обучения для их устранения не проводилось. Лицензия — Llama 3.2; применяйте модель в соответствии с её условиями.
Сценарии применения
генерация ответов в диалоге
выполнение текстовых инструкций
продолжение заданного текста
создание ролевых диалогов
Ограничения
Модель может отказывать в ответах: специального обучения для устранения отказов не проводилось. В опубликованных результатах приведены оценки IFEval и BBH, но они сами по себе не описывают качество на всех задачах.
Для каких профессий подходит6
Разделы каталога профессий, в задачах которых используется эта модель
A much further trained version, this time done with full finetuning instead of DoRA. Similar ~50/50 mix of completion and instruct data.
Note: This likely has refusals like PJMixers-Dev/LLaMa-3.2-Instruct-JankMix-v0.1-SFT-3B since no focus was put on removing refusals. I'm working on a KTO DoRA to solve this, and possibly improve roleplay performance.