Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Defetya/qwen-4B-saiga — чат-модель на архитектуре Qwen2, разработанной Alibaba. Модель с 3,6 млрд параметров дообучена методом SFT на датасете Saiga Ильи Гусева с использованием EasyDeL на TPU v3-8. Она предназначена для диалогов и генерации текста, в первую очередь на русском языке; контекст составляет до 32 768 токенов.
Автор README отмечает хорошее обращение с русскими падежами по результатам краткого личного общения, но не приводит систематических оценок: карточка упоминает запланированную проверку на Russian SuperGLUE. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.
Сценарии применения
ответы на вопросы в диалоге на русском языке
написание и переформулирование русскоязычных текстов
поддержка русскоязычного чат-бота
генерация ответов в приложениях на базе языковой модели
Ограничения
Автор приводит лишь краткое личное впечатление о качестве; оценка на Russian SuperGLUE в README обозначена как запланированная. Для использования README указывает на необходимость назначить EOS-токен, но не приводит его значение.
Для каких профессий подходит9
Разделы каталога профессий, в задачах которых используется эта модель
Qwen 4B chat by Alibaba, SFTuned on Saiga dataset. Finetuned with EasyDeL framework on v3-8 Google TPU, provided by TRC.
Модель Qwen 4B, дообученая на датасете Ильи Гусева. По моему краткому опыту общения с моделью, лучше чем Saiga-mistral. Не ошибается в падежах. Карточка модели будет дополнена после теста на Russian SuperGlue. Возможно, будет DPO