Характеристики

Контекст: 131 072 токена
Параметры: 7,1 млрд
Размер весов: 15,2 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-7B
Библиотека: transformers
Опубликована: 15 сен 2026

Ссылки

IncorrectTraceSFT-Qwen2.5-7B-AIME-SplitB-incorrect

Генерация текстаТекст → текст3 профессии

Полностью дообученная версия Qwen2.5-7B для генерации решений AIME и исследования влияния ошибочных цепочек рассуждений при математическом SFT.

247скачиваний за 30 дней0лайковвеса обновлены15 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

IncorrectTraceSFT-Qwen2.5-7B-AIME-SplitB-incorrect — модель suryadv, полученная полным дообучением Qwen/Qwen2.5-7B в эксперименте по использованию ошибочных цепочек рассуждений при supervised fine-tuning. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста; карточка указывает контекст до 131072 токенов и обучение на англоязычном наборе математических задач AIME. Чекпойнт соответствует условию held_out_incorrect_6000 в эксперименте aime splits и опубликован для исследований математических рассуждений и выбора данных для дообучения.

Модель подходит для генерации решений математических задач и исследования влияния ошибочных промежуточных рассуждений на качество ответов. Используются веса BF16 в формате safetensors, библиотека Transformers и встроенный чат-шаблон. Ответы и промежуточная логика могут быть ошибочными: правильные финальные ответы в обучающих данных не означают, что цепочки рассуждений проверялись. ID/OOD в исследовании описывает совпадение задач с набором SFT и не свидетельствует об отсутствии таких задач в предобучающих данных. Лицензия — Apache-2.0.

Сценарии применения

генерация решений задач математических олимпиад AIME
исследование влияния ошибочных рассуждений в данных SFT
сравнение стратегий отбора данных для математического дообучения
оценка качества математических ответов через pass@1

Ограничения

Промежуточные рассуждения и финальные ответы могут быть ошибочными; корректность рассуждений в обучающих данных не гарантировалась. Указание ID/OOD относится только к совпадению задач с данными SFT, а не к наличию задач в предобучающих данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IncorrectTraceSFT · AIME SplitB incorrect

A full fine-tune of Qwen2.5-7B from How Should Incorrect Traces Be Used in Supervised Fine-Tuning? This checkpoint is the held_out_incorrect_6000 condition in the aime splits experiment.

Code and reproduction instructions · Training data

Training

The student starts from Qwen/Qwen2.5-7B, revision d149729398750b98c0af14eb82c78cfe92750796. Training uses SLIME with Megatron-LM, BF16, global batch size 64, and AdamW with a peak learning rate of 5e-6. Full settings and exact data selections are in the code repository.

This is the final checkpoint after 188 optimizer updates. The original checkpoint identifier is 08f0f6096fd5c98d9a2e62f103cb8360a067f8082ebb45b360fc4bb17f19aaac.

Evaluate

From a checkout of the code repository with evaluation dependencies installed:

python -m incorrect_trace_sft.evaluate --experiment aime_splits --model suryadv/IncorrectTraceSFT-Qwen2.5-7B-AIME-SplitB-incorrect --output runs/AIME-SplitB-incorrect

The evaluation command preserves the experiment's prompts, context limit, sampling parameters, and answer scorer. It reports pass@1 and the Monte Carlo standard error across decoding repeats. See the repository's results table for all conditions and comparisons.

Files and intended use

The safetensors weights are unchanged from the evaluated checkpoint. provenance.json records their original SHA-256 hashes. The tokenizer configuration has been normalized for Transformers 4.57: legacy special-token metadata is represented using the current field format, and the existing chat template is embedded. Vocabulary, token IDs, and the chat template are unchanged.

This model is released for research on mathematical reasoning and SFT data selection. Correct final answers in the training data do not imply that intermediate reasoning steps were verified. ID/OOD in this study refers to problem identity relative to SFT; it says nothing about pretraining exposure. Coding-agent checkpoints will be released separately.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: 194aeea