/ Модель

Характеристики

Контекст
262 144 токена
Лицензия
Apache 2.0
Архитектура
qwen3_5_moe · dense
Базовая модель
Qwen3.5-35B-A3B
Опубликована
28 июн 2026

Qwen3.5-35B-A3B-DAPO-RLVR-teacher

Обучение с подкреплением3 профессии

Дообученная GRPO модель Qwen3.5-35B-A3B для решения математических задач с проверяемыми и более краткими ответами.

22скачиваний за 30 дней1лайквеса обновлены28 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная методом обучения с подкреплением модель Qwen3.5-35B-A3B, опубликованная cm00cm. Чекпойнт создан методом GRPO с проверкой результата по вознаграждению за правильность ответа на математические задачи из набора DAPO-math-17k и служит учителем на первом этапе конвейера дистилляции с обучением на собственных ответах. Для контрольной выборки из 512 задач автор сообщает точность 0,887 против 0,828 у базовой модели и среднюю длину ответа 6 248 против 14 070 токенов при указанном режиме оценки.

Модель предназначена прежде всего для решения математических задач и выдачи более кратких ответов с проверяемым итогом. Это Qwen3.5-35B-A3B с архитектурой MoE; веса опубликованы в формате safetensors и загружаются через Transformers. Лицензия — Apache-2.0. Показатели приведены для конкретного набора и режима оценки, поэтому они не гарантируют такое же качество на других задачах; описание не приводит результатов для иных областей.

Сценарии применения

  • решение математических задач с пошаговым рассуждением
  • получение кратких ответов на задачи из DAPO-math
  • использование модели-учителя в конвейере самодистилляции

Ограничения

Заявленные метрики измерены на 512 отложенных задачах DAPO-math в конкретном режиме оценки и не описывают качество на других наборах или областях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.5-35B-A3B — DAPO RLVR Teacher (Phase 1)

RLVR (GRPO) fine-tune of Qwen3.5-35B-A3B on DAPO-math-17k, trained with miles on a single 8×H200 node. This is the Phase-1 teacher for an on-policy self-distillation pipeline (see miles example examples/on_policy_distillation/qwen3_5_35b_selfdistill).

What changed vs the base

Held-out DAPO-math (512 disjoint problems, eval @ 24k cap, temperature 0.6):

accuracymean response length
base0.82814,070
this checkpoint0.8876,248

The RLVR step (lr 1e-5, GRPO + format-agnostic boxed/Answer correctness reward, 24k rollout cap) makes the model both more accurate and ~2× more concise.

Details

  • Parallelism: TP2 / PP1 / CP2 / EP8 / ETP1 (single node, world=8), --colocate, optimizer CPU offload.
  • Reward: format-agnostic correctness (accepts \boxed{} or Answer:).
  • Weights only (optimizer state stripped). Standard transformers load.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("cm00cm/Qwen3.5-35B-A3B-DAPO-RLVR-teacher")
model = AutoModelForCausalLM.from_pretrained(
    "cm00cm/Qwen3.5-35B-A3B-DAPO-RLVR-teacher", torch_dtype="bfloat16", device_map="auto")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры
Qwen3_5MoeForConditionalGeneration
Ревизия весов
acf75b5

0 моделей