/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Опубликована
11 июл 2026

Ссылки

Hugging Face

tmax-qwen36-27b-run2-step61

zhiyuanhucs
Обучение с подкреплением

Возобновляемый снимок обучения Qwen3.6-27B методом DPPO предназначен для продолжения эксперимента TMax RL и оценки на Terminal-Bench.

0скачиваний за 30 дней0лайковвеса обновлены11 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это возобновляемый контрольный снимок обучения Qwen3.6-27B, подготовленный для воспроизведения эксперимента TMax DPPO RL. Репозиторий содержит распределённое состояние DeepSpeed ZeRO-3: веса, состояние оптимизатора и загрузчика данных примерно на шаге 61; это состояние обучения, а не обычная готовая к запуску копия модели. Его можно использовать для продолжения обучения на наборе allenai/tmax-15k-open-instruct или извлечь из шардов веса в формате fp32.

Модель основана на Qwen3.6-27B с архитектурой Qwen3_5ForConditionalGeneration. В описанном эксперименте применялись DPPO, контекст ответа длиной до 65 536 токенов и оценка на Terminal-Bench 2.0; README сообщает о приросте среднего вознаграждения относительно базовой модели. Это исследовательский снимок конкретного запуска, а не гарантия качества для других задач. Репозиторий распространяется по лицензии Apache-2.0.

Сценарии применения

  • продолжение обучения DPPO с шага 61
  • воспроизведение эксперимента TMax на Terminal-Bench 2.0
  • извлечение весов модели из шардов DeepSpeed ZeRO-3

Ограничения

Это состояние обучения в шардах DeepSpeed, требующее базовых весов, конфигурации и совместимой среды для возобновления; для использования как обычной модели веса нужно отдельно собрать. Результаты оценки относятся к указанному эксперименту и не гарантируют качество на других задачах.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TMax DPPO RL — Qwen3.6-27B — resumable checkpoint @ ~step 61 (run2)

DeepSpeed ZeRO-3 training-state checkpoint (model + optimizer + dataloader state) from reproducing hamishivi/tmax DPPO RL on allenai/tmax-15k-open-instruct, base model Qwen3.6-27B (Qwen3_5ForConditionalGeneration).

This is not a plain HF model — it is a restartable checkpoint you feed back into open_instruct/grpo_fast.py via --checkpoint_state_dir to continue training exactly where it stopped (weights + Adam states + data order).

Contents

pathwhat
global_step61/ZeRO-3 sharded state: 16 ranks of bf16_zero_pp_rank_*_optim_states.pt + model states (~292 GB)
latesttext file containing global_step61 (DeepSpeed reads this to pick the step)
zero_to_fp32.pyDeepSpeed util to consolidate the shards into a single fp32 pytorch_model.bin if you want plain weights
ref_policy/reference-policy metadata (DPPO uses beta 0.0, so KL/ref is effectively off)
environment/exact Python env to reproduce the run (see below)

How to resume training

# base weights + config come from the base model; the trained state comes from here
python open_instruct/grpo_fast.py \
    --model_name_or_path Qwen/Qwen3.6-27B \        # or your local base VLM checkpoint
    --checkpoint_state_dir /path/to/this/repo \    # <-- resumes from global_step61
    --dataset_mixer_list allenai/tmax-15k-open-instruct 1.0 \
    --loss_fn dppo --deepspeed_stage 3 ... (rest of the run2 recipe)

The trainer detects latest → loads global_step61 → continues at training step 61.

Extract plain fp32 weights (optional, if you just want the model)

python zero_to_fp32.py global_step61 ./consolidated_fp32   # then load as a normal HF model

Recipe (run2)

DPPO, beta 0.0, num_unique_prompts_rollout 8 × num_samples_per_prompt_rollout 32, response_length 65536, learning_rate 1e-6 (constant), ZeRO-3, sequence_parallel_size 4, tool = swerl_vanillux_sandbox (docker python:3.12-slim). 4×H200 nodes (16 GPU learners + 16 vLLM engines).

Evaluation — Terminal-Bench 2.0

Full harness, fixes, and scripts to reproduce our TB2.0 numbers are in terminal_bench_eval/ (self-contained README.md, scripts/, PATCHES.md).

Results — terminus-2 (the official Harbor/Terminus-2 harness), mean reward, k=1:

checkpointmean rewardfull-solves
base Qwen3.6-27B0.56442
tmax step200.58741
tmax step400.65742
tmax step600.62647
tmax step80~0.62 (78/89)47
official card0.593—

qwen3.6 reproduces the official 59.3; tmax RL adds a modest ~+0.08, plateauing ~step40. An earlier ~0.26 reading was three harness bugs (32K-ctx assumption, 900s per-trial wall, 120s per-request timeout) starving the reasoning model — all fixed/documented in terminal_bench_eval/PATCHES.md. vanillux2 (this repo's tool-calling harness) also works now (base 0.387 / step20 0.364; it needs the qwen3_coder tool parser).

Environment

See environment/:

  • requirements_freeze.txt — full pip freeze
  • pyproject.toml + uv.lock — reproduce exactly with uv sync
  • versions.txt — key versions (torch / vLLM / transformers / ray / deepspeed / CUDA)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов
436ac7e

0 моделей

    Создать бенчмарк