Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Llama3-Crab-SFT — англоязычная плотная авторегрессионная языковая модель семейства Llama, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li. Модель дообучена на основе Llama3-8B с использованием набора CRAB, созданного методом constraint back-translation: к качественным парам инструкций и ответов добавлялись сложные ограничения, уже соблюдённые в ответах.
Модель предназначена для генерации текста по инструкциям и особенно для задач, где нужно точно выполнять несколько требований к формату, длине или содержанию ответа. В карточке описано улучшение следования сложным инструкциям при оценке на бенчмарках IFEval и FollowBench. Размер модели — 7,5 млрд параметров, контекст — 8192 токена; доступны веса в формате PyTorch.
Модель лицензирована по Apache-2.0. Её возможности описаны для английского языка; карточка не приводит ограничений, кроме того, что целевая специализация — выполнение сложных инструкций.
Сценарии применения
соблюдение заданного формата при генерации ответа
создание текстов с ограничением по длине
выполнение инструкций с несколькими условиями
генерация ответов по сложным англоязычным запросам
Ограничения
Карточка описывает модель как англоязычную и специализирует её на выполнении сложных инструкций; результаты для других языков не приведены.
Для каких профессий подходит6
Разделы каталога профессий, в задачах которых используется эта модель