Qwen2.5-Math-1.5B-RoPE-300k — вариант модели Qwen/Qwen2.5-Math-1.5B, подготовленный rowan-dauria для работы с длинным контекстом и дальнейшего дообучения на задачах рассуждений. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для генерации текста, в частности решений математических задач. Веса не изменены: в конфигурации увеличена базовая частота RoPE, снято ограничение sliding window, а максимальная длина контекста изменена с 4096 до 32768 токенов.

Модель можно использовать как основу для SFT с длинными математическими рассуждениями и для генерации решений, требующих более длинного контекста. Карточка базовой модели указывает английский и китайский языки. Репозиторий использует Transformers и формат safetensors; интерфейс поддерживает чат и вызов инструментов. Лицензия — Apache-2.0.

Увеличенное окно контекста задано изменением rope_theta и параметров конфигурации при неизменных весах, поэтому карточка не подтверждает отдельное обучение на длинных последовательностях или качество на предельной длине контекста. Для дальнейшего обучения и применения следует учитывать, что расширение контекста само по себе не гарантирует сохранение точности базовой модели на длинных входах.