Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
AX-3.1-Light-sftv31bsafe — настраиваемая модель диалоговой генерации текста на основе SKT A.X-3.1-Light. Разработчик дообучил её методом LoRA на 26 306 примерах с короткими ответами из наборов sft_v0_21 и v3.0, затем объединил адаптер с базовой моделью; длинные ответы и цепочки рассуждений исключены из выборки. Модель имеет архитектуру LlamaForCausalLM, около 6,8 млрд параметров и контекст до 32 768 токенов. Основной язык карточки — корейский.
Модель предназначена для коротких ответов и понимания текста, в том числе на вопросах из наборов по корейскому языку, медицине, финансам и правовым документам. По результатам K-AI, средний балл составил 0,4226 против 0,423 у базовой модели; на KMMLU-Pro модель превзошла базовую, но на CLIcK уступила ей. Исключение длинных ответов и CoT помогло избежать резкого падения результатов, наблюдавшегося у версии v3.0, однако v3.1b-safe не превзошла предыдущую версию v0.21 по среднему баллу. Лицензия указана как other, её условия в доступных данных не раскрыты.
Сценарии применения
короткие ответы на вопросы по корейским текстам
решение вопросов по корейскому языку и учебным материалам
ответы на вопросы по медицинским знаниям на корейском языке
извлечение ответов из финансовых и юридических документов
диалоговое взаимодействие на корейском языке
Ограничения
Настройка ориентирована на короткие ответы и не обучалась на длинных ответах или цепочках рассуждений. Средний результат K-AI немного ниже базовой модели и ниже версии v0.21; условия лицензии other в карточке не раскрыты.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель