Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель yanggangu/Llama-3.2-1B-Instruct-SMAT-NumGLUE-cm — эксперт SMAT, обученный авторами метода Simple and Efficient Merge-Aware Training на основе Meta Llama 3.2 1B Instruct; в README указан seed обучения 42. Она предназначена для генерации текста и диалоговых сценариев. SMAT обучает экспертов сохранять качество на своей задаче и облегчать последующее слияние моделей. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Применяется лицензия Llama 3.2 и связанная с ней политика допустимого использования.
Сценарии применения
генерация ответов в диалоговом интерфейсе
эксперименты с обучением экспертов SMAT
оценка сохранения качества модели при слиянии
сравнение экспертов для задач NumGLUE-cm
Ограничения
README не приводит результаты оценки качества или описание специализации NumGLUE-cm; фактическую точность на этой задаче следует проверять отдельно.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
A SMAT expert from Table 1 of SMAT: Simple and Efficient Merge-Aware Training (training seed 42). SMAT trains experts that retain task performance while improving model merging.