Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Llama-3.1-8B-Instruct-FT-NumGLUE-cm — дообученная модель из семейства Llama 3.1, подготовленная как эксперт NumGLUE-cm в рамках метода SMAT (Simple and Efficient Merge-Aware Training). Она предназначена для генерации текста и диалоговых сценариев, а также для использования в исследованиях по сохранению качества задач при слиянии моделей. Модель построена на Meta Llama 3.1 8B Instruct: архитектура LlamaForCausalLM с плотными весами, около 7,5 млрд параметров, формат safetensors и контекст до 131 072 токенов. Лицензия Llama 3.1 и политика допустимого использования Meta распространяются на модель.
Сценарии применения
генерация текста в диалоговом интерфейсе
ответы на текстовые инструкции
эксперименты со слиянием языковых моделей
оценка сохранения качества на NumGLUE-cm
Ограничения
README описывает модель как экспериментального эксперта для исследования слияния моделей; отдельные показатели качества и ограничения для прикладного использования не приведены.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
A FT expert from Table 1 of SMAT: Simple and Efficient Merge-Aware Training (training seed 42). SMAT trains experts that retain task performance while improving model merging.