/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3-VL-4B-Instruct
Опубликована
19 июл 2026

Ссылки

Hugging Face

Qwen3vl4b-GR00T-RoboDojo

StarVLA
Языковая модельИзображение, текст → action3 профессии

Дообученная мультимодальная модель StarVLA для управления двухруким роботом ARX X5 в симуляторе RoboDojo.

33скачиваний за 30 дней0лайковвеса обновлены4 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

StarVLA/Qwen3vl4b-GR00T-RoboDojo — чекпойнт модели QwenGR00T от StarVLA, дообученный от Qwen3-VL-4B-Instruct на смеси RoboDojo LeRobot v2.1 из 35 задач. В систему входят мультимодальная языковая модель Qwen3-VL и обученная сквозным образом модель действий на базе 16-слойного DiT-B с flow matching.

Модель предназначена для управления роботом ARX X5 с двумя манипуляторами в симуляторе RoboDojo: она обрабатывает наблюдения и формирует действия робота. Чекпойнт на шаге 130 000 оценивался по официальному протоколу из 42 задач; средний результат составил 3,81% успешных эпизодов и 7,35 балла. Эти показатели относятся к указанному протоколу и не гарантируют работу в других сценариях.

Для использования нужны сохранённые конфигурация и статистика нормализации. Работа за пределами заданного контракта наблюдений, действий и нормализации не подтверждена. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • выполнение задач манипуляции объектами в RoboDojo
  • управление двухруким роботом ARX X5 в симуляции
  • исследование политик управления роботом на основе визуальных наблюдений
  • оценка роботизированных политик по протоколу RoboDojo

Ограничения

Предназначена для симуляторного исследования с роботом ARX X5 и требует соответствия контракту наблюдений, действий и статистик нормализации. Работа в иных сценариях не подтверждена; агрегированные результаты оценки нельзя независимо восстановить по файлам репозитория.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

StarVLA QwenGR00T Qwen3-VL-4B for RoboDojo (130k)

This directory contains one StarVLA QwenGR00T checkpoint initialized from Qwen3-VL-4B-Instruct and trained on the 35-task RoboDojo LeRobot v2.1 mixture. The VLM, VLM interface, and action model were trained end to end.

Model details

ItemValue
FrameworkStarVLA QwenGR00T
Base VLMQwen3-VL-4B-Instruct
Action model16-layer DiT-B flow head: 768 latent width, 12 heads (64 dimensions/head)
State/action decoder MLP width1,024
Action representation14D absolute joint position (abs_qpos)
Action horizon50
State dimension14
Camera inputHead, left wrist, right wrist; resized to 224 x 224
Inference flow steps4
Checkpoint step130,000
Checkpoint formatComplete StarVLA framework state dict (.pt)

Files

README.md
config.yaml
config.full.yaml
dataset_statistics.json
summary.jsonl
checkpoints/
└── steps_130000_pytorch_model.pt

Only the requested 130k checkpoint is included. Keep the saved configuration and normalization statistics beside the checkpoint.

Training details

SettingValue
Dataset mixturerobodojo_v21_all_h50_q99
Training tasks35
Per-GPU batch size16
Gradient accumulation1
Frozen modulesNone
OptimizerAdamW, betas (0.9, 0.95), epsilon 1e-8
VLM learning rate1e-5
VLM-interface learning rate1e-5
Action-model learning rate1e-4
ScheduleCosine, 5,000 warmup steps, minimum LR 5e-7
Gradient checkpointingEnabled
Random seed42

Official RoboDojo evaluation

All policies below use the official complete 42-task protocol: 50 episodes per task, 2,100 episodes per policy. Values are shown as SR (%) / Score. This directory's policy is bolded. Higher is better for both SR and Score.

Group summary

PolicyAverageGeneralizationPrecisionLong-HorizonMemoryOpen
QwenOFT4.86 / 8.014.33 / 6.4211.75 / 17.545.50 / 12.951.67 / 1.770.50 / 0.60
QwenGR00T3.81 / 7.353.50 / 6.525.75 / 10.096.50 / 15.463.33 / 4.370.00 / 0.00
QwenPI_v36.19 / 9.604.17 / 7.2814.00 / 19.0610.00 / 17.842.00 / 2.320.75 / 0.88

Task details

Task values are SR (%) / Score; each task uses 50 episodes. The bolded column is the policy in this directory.

Evaluation group / taskQwenOFTQwenGR00TQwenPI_v3
Generalization4.33 / 6.423.50 / 6.524.17 / 7.28
stack_bowls18.00 / 21.0010.00 / 14.8014.00 / 16.70
push_T0.00 / 0.000.00 / 0.000.00 / 0.00
pack_objects_into_box0.00 / 3.100.00 / 7.800.00 / 6.80
fold_clothes10.00 / 12.808.00 / 12.402.00 / 9.60
hang_mugs0.00 / 3.600.00 / 3.000.00 / 3.50
sweep_blocks0.00 / 0.000.00 / 0.002.00 / 2.00
pour_liquid_into_cup14.00 / 14.0014.00 / 14.0012.00 / 12.00
make_toast0.00 / 1.002.00 / 5.002.00 / 5.00
arrange_largest_number0.00 / 1.902.00 / 4.102.00 / 5.70
sort_nesting_dolls_by_size0.00 / 0.004.00 / 4.006.00 / 6.00
store_laptop_and_headphones4.00 / 11.200.00 / 7.202.00 / 8.40
stack_blocks6.00 / 8.402.00 / 5.908.00 / 11.60
Precision11.75 / 17.545.75 / 10.0914.00 / 19.06
fasten_screws4.00 / 8.000.00 / 2.000.00 / 6.00
plug_in_charger6.00 / 6.002.00 / 2.004.00 / 4.00
insert_tubes40.00 / 51.6028.00 / 40.4044.00 / 56.80
pour_balls_into_vase8.00 / 8.000.00 / 0.002.00 / 2.00
play_Xylophone0.00 / 0.000.00 / 0.000.00 / 0.00
deposit_coin0.00 / 3.202.00 / 5.606.00 / 7.60
insert_key0.00 / 12.900.00 / 9.900.00 / 11.10
build_tower36.00 / 50.6014.00 / 20.8056.00 / 65.00
Long-Horizon5.50 / 12.956.50 / 15.4610.00 / 17.84
put_bottles_into_dustbin22.00 / 40.9026.00 / 44.4064.00 / 73.60
fill_pen_holder4.00 / 11.706.00 / 14.408.00 / 23.00
classify_objects2.00 / 5.506.00 / 11.500.00 / 7.50
play_tic_tac_toe0.00 / 12.402.00 / 16.400.00 / 6.80
fill_egg_holder0.00 / 0.600.00 / 0.000.00 / 0.80
organize_table0.00 / 16.500.00 / 25.004.00 / 27.00
make_kong16.00 / 16.0012.00 / 12.004.00 / 4.00
play_stacking_toy0.00 / 0.000.00 / 0.000.00 / 0.00
Memory1.67 / 1.773.33 / 4.372.00 / 2.32
cover_blocks0.00 / 0.606.00 / 12.100.00 / 1.50
match_and_pick_from_conveyor10.00 / 10.0014.00 / 14.0012.00 / 12.00
swap_blocks0.00 / 0.000.00 / 0.000.00 / 0.00
swap_T0.00 / 0.000.00 / 0.000.00 / 0.00
press_by_number0.00 / 0.000.00 / 0.000.00 / 0.00
imitate_sorting_sequence0.00 / 0.000.00 / 0.100.00 / 0.40
Open0.50 / 0.600.00 / 0.000.75 / 0.88
align_blocks0.00 / 0.000.00 / 0.000.00 / 0.00
general_pickup4.00 / 4.000.00 / 0.006.00 / 6.00
stack_blocks_by_language0.00 / 0.800.00 / 0.000.00 / 0.80
solve_equation0.00 / 0.000.00 / 0.000.00 / 0.00
classify_objects_by_language0.00 / 0.000.00 / 0.000.00 / 0.20
pick_from_conveyor_by_image0.00 / 0.000.00 / 0.000.00 / 0.00
store_tools_in_toolbox0.00 / 0.000.00 / 0.000.00 / 0.00
pour_by_language0.00 / 0.000.00 / 0.000.00 / 0.00

Evaluation

Start the StarVLA model server:

huggingface-cli download StarVLA/Qwen3vl4b-GR00T-RoboDojo \
  --local-dir Qwen3vl4b-GR00T-RoboDojo
export CKPT="$PWD/Qwen3vl4b-GR00T-RoboDojo/checkpoints/steps_130000_pytorch_model.pt"
python deployment/model_server/server_policy.py \
  --ckpt_path "$CKPT" \
  --port 57700 \
  --use_bf16

Run a RoboDojo task from XPolicyLab/policy/starVLA:

STARVLA_CKPT_PATH="$CKPT" \
STARVLA_INCLUDE_STATE=True \
STARVLA_UNNORM_KEY=arx_x5 \
STARVLA_EXECUTE_HORIZON=16 \
bash eval.sh \
  RoboDojo build_tower qwengroot_steps_130000 \
  arx_x5 joint 0 0 1 <policy_conda_env> <robodojo_conda_env>

Use RoboDojo scripts/internal/summarize_result.py for aggregation. Generalization cells require both the base and corresponding _random task halves.

Evidence and evaluation boundary

  • Architecture, input/action dimensions, normalization contract, training settings, and the 130k release were checked against config.full.yaml, dataset_statistics.json, and the Hub file tree.
  • The official-protocol table is retained from the published RoboDojo Card and matches this model family and 130k checkpoint. This repository does not include raw per-episode evaluation logs, so the aggregate is not independently reconstructable from the repository files alone.
  • Rows for QwenOFT and QwenPI_v3 are comparison context; they are not results produced by the checkpoint in this repository.
  • Evaluation requires the same arx_x5 statistics, state inclusion, camera order, absolute-joint action mapping, and execution horizon.

Intended use and limitations

This checkpoint is intended for RoboDojo simulation research with the ARX X5 dual-arm embodiment. Performance outside the saved observation, action, and normalization contract has not been established.

License evidence

The Apache-2.0 metadata above is retained from this target repository's previously published Model Card; it is not inferred from the StarVLA code license. No separate LICENSE file is packaged, and base-model and dataset terms remain applicable.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
0926a16

0 моделей

    Создать бенчмарк