Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
andysalerno/mistral-sft-v3 — лёгкое дообучение Mistral-7B-v0.1, опубликованное andysalerno. В модель добавлены специальные токены ChatML, после чего она прошла ограниченное supervised fine-tuning на наборе andysalerno/ansalern-nectar-inputoutput с диалоговым форматированием. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов.
Модель предназначена прежде всего как основа для дальнейшего дообучения моделей, использующих ChatML. Она понимает формат ChatML, однако лёгкого обучения недостаточно, чтобы рекомендовать её как готового чат-ассистента. Модель принимает текст и генерирует текст; карточка указывает задачу text-generation и библиотеку Transformers. Поддерживаемые языки отдельно не заявлены.
Модель распространяется под лицензией Apache-2.0. В README приведены результаты оценивания на Open LLM Leaderboard, включая среднее значение 60,93, AI2 Reasoning Challenge — 61,35 и HellaSwag — 82,23; эти показатели сами по себе не подтверждают качество в конкретных прикладных сценариях.
Сценарии применения
дальнейшее дообучение базовой модели с данными в формате ChatML
создание экспериментального прототипа текстовой генерации на базе Mistral
адаптация языковой модели к собственному диалоговому датасету
Ограничения
README предупреждает, что обучение было очень лёгким и модель не предназначена для использования как готовый чат-ассистент; для прикладного диалога требуется дальнейшая настройка. Языковая поддержка и качество на конкретных сценариях не описаны.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель