Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
yanggangu/Llama-3.1-8B-Instruct-FT-ScienceQA — дообученная диалоговая языковая модель на архитектуре Llama 3.1, представленная как эксперт ScienceQA в работе SMAT (Simple and Efficient Merge-Aware Training). Она предназначена для генерации текста и ответов в диалоговом формате; карточка связывает её с сохранением качества на задаче при улучшении возможностей слияния моделей. Модель содержит 7,5 млрд параметров, принимает текст и выдаёт текст, а её базовая модель поддерживает контекст до 131 072 токенов.
Модель основана на meta-llama/Llama-3.1-8B-Instruct и распространяется в формате safetensors. Для использования действуют лицензия Llama 3.1 и политика допустимого использования Meta. Карточка не приводит отдельной оценки качества ScienceQA или подробных ограничений.
Сценарии применения
ответы на вопросы ScienceQA
генерация объяснений к научным вопросам
диалоговые ответы на текстовые запросы
эксперименты со слиянием дообученных языковых моделей
Ограничения
В README не приведены количественные результаты на ScienceQA или подробная оценка качества. Условия лицензии Llama 3.1 и политика допустимого использования Meta применяются к модели.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
A FT expert from Table 1 of SMAT: Simple and Efficient Merge-Aware Training (training seed 42). SMAT trains experts that retain task performance while improving model merging.