Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Mistral-Crab-SFT — англоязычная диалоговая языковая модель на архитектуре Mistral, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li. Модель дообучена на базе Mistral-7B-v0.3 для улучшения следования инструкциям со сложными ограничениями на формат, длину и содержание ответа.
Модель предназначена для генерации ответов на английском языке в чат-сценариях, где требуется соблюдать несколько условий одновременно: например, задать нужную структуру, выдержать длину и включить заданные элементы. В работе для обучения использован набор CRAB, созданный методом constraint back-translation: к качественным парам инструкций и ответов добавлялись ограничения, уже выполненные в ответах.
Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Указанная лицензия — Apache-2.0. Карточка сообщает об улучшении следования сложным инструкциям, но не приводит численных результатов именно для этого чекпойнта; качество на других языках и пригодность для специализированных областей не установлены.
Сценарии применения
создание ответа заданной длины и структуры
выполнение нескольких инструкций в одном запросе
генерация текста с обязательными элементами и условиями формата
Ограничения
В карточке нет численных результатов оценки именно этого чекпойнта. Подтверждена поддержка английского языка; качество на других языках и в специализированных областях не описано.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель