Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
q1-3B-PRIME — компактная языковая модель рассуждений, созданная автором rawsh методом обучения с подкреплением PRIME. Она объединяет SmallThinker-3B-Preview и Qwen2.5-3B-Instruct; SmallThinker-3B-Preview, в свою очередь, дообучена на следах рассуждений QwQ. Модель построена на архитектуре Qwen2 с плотной схемой параметров и содержит 3,1 млрд параметров.
Модель предназначена для генерации текста в диалоговом формате, особенно для математических задач и задач на рассуждение; также её можно применять для генерации кода. В README приведены результаты на AIME24, AMC23 и MATH-500, а также HumanEval и Leetcode. Контекст составляет 32 768 токенов. В метаданных указан английский язык; карточка не описывает дополнительные языковые возможности.
Автор сообщает об улучшении результата на тестовом наборе примерно на 22,5% после 120 шагов обучения и отмечает, что обучение можно было продолжить. На HumanEval результат ниже, чем у Qwen2.5-3B-Instruct, поэтому качество зависит от задачи. Лицензия в предоставленных данных не указана.
Сценарии применения
решение математических задач и олимпиадных примеров
пошаговые рассуждения по текстовым задачам
генерация кода по запросу
ответы на вопросы в диалоговом формате
Ограничения
В README обучение описано как неполное: автор отмечает потенциал дальнейшего улучшения. На HumanEval модель уступает Qwen2.5-3B-Instruct; лицензия в доступных данных не приведена.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
q1-3B-PRIME, a small reasoning model trained with reinforcement learning.
Trained using SmallThinker-3B-Preview as a base model (Qwen2.5-3B-Instruct full finetuned on QwQ reasoning traces) for a roughly ~22.5% improvement on the test set in 120 training steps. (Note: lots of performance left on the table since PRIME saturates after 300+ steps.)
Benchmark Performance
Math
Model
AIME24
AMC23
MATH-500
Qwen2.5-3B-Instruct
6.67
45
-
SmallThinker-3B-Preview
16.667
57.5
-
q1-3B-PRIME
26.667
67.5
64.8
Eurus-7B-PRIME
26.667
57.8
79.2
GPT-4o
9.3
45.8
76.4
Coding
Model
HumanEval
Leetcode
Qwen2.5-3B-Instruct
74.4
-
q1-3B-PRIME
71.95
20.55
GPT-4o
90.2
-
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров