Характеристики

Лицензия: CC BY 4.0
Опубликована: 9 июл 2026

Ссылки

molmoact2-residual-rl

Обучение с подкреплением

Набор residual RL-чекпойнтов корректирует действия MolmoAct2 для бимануальной задачи укладывания предметов в коробку в симуляции ManiSkill.

0скачиваний за 30 дней0лайковвеса обновлены9 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий Atharva Kshirsagar, Tirth Gada и Vrushtee Gaikwad содержит обученные чекпойнты residual policy для эксперимента Frozen-Backbone Residual RL for MolmoAct2, представленного на воркшопе RL4VLA при RSS 2026. Политика состоит из небольшого residual-актора и двух критиков на MLP (по 256 скрытых единиц); она добавляет ограниченную поправку с масштабом α=0,05 к 14-мерному фрагменту действий, декодированному замороженной моделью allenai/MolmoAct2-BimanualYAM.

Чекпойнты TD3+BC и SAC+BC предназначены для выполнения задачи размещения предметов в коробке на бимануальном роботе в среде ManiSkill с имитацией ошибки калибровки приводов. В README приведены результаты на отложенной оценке: успешность от 13% до 33%, при этом базовая модель без дообучения достигает 13%. Для запуска требуется стек симуляции MolmoAct2 и совместимое окружение; приведена команда для оценки SAC-чекпойнта.

Лицензия репозитория — CC-BY-4.0. Результаты основаны на небольших выборках эпизодов и имеют заметный статистический шум; качество вне указанной симуляционной задачи не подтверждено. Модель рассчитана на исследовательские эксперименты с роботизированным управлением, а не на универсальное применение.

Сценарии применения

коррекция действий бимануального робота при ошибке калибровки приводов
обучение residual policy поверх замороженной VLA-модели в симуляции
оценка SAC+BC и TD3+BC для роботизированной манипуляции
воспроизведение экспериментов RL4VLA на ManiSkill
укладывание предметов в коробку с помощью робота YAM

Ограничения

Чекпойнты оценены только на одной задаче в симуляции, а малое число эпизодов делает показатели успешности шумными; перенос на другие задачи и реальных роботов не подтверждён.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Frozen-Backbone Residual RL for MolmoAct2 — trained residual checkpoints

Residual-policy checkpoints for the RL4VLA @ RSS 2026 workshop paper "Hill-Climbing a Real-World VLA in Simulation: Frozen-Backbone Residual Reinforcement Learning for MolmoAct2" (Atharva Kshirsagar, Tirth Gada, Vrushtee Gaikwad).

The backbone (allenai/MolmoAct2-BimanualYAM) stays frozen; each checkpoint here is a small residual actor + twin critic (2×256 MLP, ~1 MB) that adds a bounded correction (α=0.05) to the backbone's decoded 14-D action chunk on BimanualYAMPutEverythingInBoxMiscal2RL-v1 (ManiSkill, 0.02 rad actuator miscalibration, 1500-step horizon).

Checkpoints

Path	Learner	Held-out success	n
`td3bc_seed1/actor_final.pt`	TD3+BC	20%	30
`td3bc_seed2/actor_final.pt`	TD3+BC	13% (= base)	30
`sacbc_seed0/actor_final.pt`	SAC+BC	33%	45

Frozen zero-shot base: 13%. Naive (un-anchored) TD3 collapses to 0%. The paper's seed-0 TD3+BC checkpoint (33%, n=15) predates this repo and was not preserved. Note: single 15-episode evals carry ~±12pp noise (the flow decoder samples at inference) — success rates above pool 2–3 eval passes. Each directory includes the training config.json and per-episode metrics.jsonl; evals/ holds the raw held-out eval JSONs.

Usage

Code (a drop-in extension of the public MolmoAct2 sim_eval stack): https://github.com/vovw/rl4vla-residual-rl

uv run python -m sim_eval.rl.eval_residual_yam \
  --env-id BimanualYAMPutEverythingInBoxMiscal2RL-v1 \
  --checkpoint sacbc_seed0/actor_final.pt --algo sac \
  --n-episodes 15 --max-episode-steps 1500 --residual-scale-override 0.05

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов: 738433d