Характеристики

Лицензия: Apache 2.0
Опубликована: 12 авг 2026

Ссылки

starvla-qwenpiv3-so101-marker

Языковая модельИзображение, текст → action

Дообученная визуально-языковая модель управления SO-101 для переноса маркера в стакан и возврата манипулятора в исходное положение.

1скачиваний за 30 дней0лайковвеса обновлены12 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

StarVLA-π (QwenPIv3) — модель управления роботом SO-101, разработанная на основе замороженной визуально-языковой модели Qwen3-VL-4B и дообученная на данных телеуправления. Она предназначена для задачи, в которой робот поднимает маркер, кладёт его в стакан и возвращает манипулятор в исходное положение. На вход подаются изображения с камер спереди и на запястье, именно в этом порядке; на выходе модель формирует последовательности действий длиной 16 шагов: абсолютные положения пяти суставов руки и захвата. Голова действий использует послойный cross-DiT с flow matching.

Модель обучена на 97 эпизодах и 31 291 кадре для воплощения SO-101; контрольная точка соответствует 20 000 шагам обучения. Для запуска нужен репозиторий starVLA с конфигурацией робота so101_marker и базовая модель Qwen/Qwen3-VL-4B-Instruct; для инференса в bf16 требуется около 11 ГБ видеопамяти. Лицензия — Apache-2.0.

Обучение проводилось на данных реального телеуправления, поэтому успешность переноса в Isaac Sim не гарантируется. Порядок камер критичен: при несовпадении порядка front и wrist политика может работать некорректно.

Сценарии применения

поднять маркер и положить его в стакан роботом SO-101
управлять суставами манипулятора SO-101 по изображениям с двух камер
возвращать манипулятор SO-101 в исходное положение после выполнения задачи

Ограничения

Обучение выполнено на реальных данных телеуправления, поэтому успешность в Isaac Sim не гарантируется. Порядок камер front и wrist должен соответствовать обучающей конфигурации; инференс в bf16 требует около 11 ГБ видеопамяти и репозитория starVLA с настройкой so101_marker.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

StarVLA-π (QwenPI_v3) — SO-101 marker-in-cup

Qwen3-VL-4B backbone (frozen) + layer-wise cross-DiT flow-matching action head, fine-tuned on new_embodiment (97 episodes / 31291 frames, LeRobot v2.1, so101_follower).

Task: Pick up the marker and place it into the cup, then reset the arm to rest state.
Checkpoint: checkpoints/steps_20000_pytorch_model.pt (20000 steps)
Action space: 6-D absolute joint positions — single_arm (5) + gripper (1)
Cameras: front, wrist — in that order (see below)
Action horizon: 16

Serving

Needs the starVLA repo including examples/SO101_Marker/train_files/data_registry/data_config.py — the server resolves robot_type: so101_marker through the auto-discovered registry, and fails at startup without it. data_config.py is mirrored in this repo for reference.

huggingface-cli download mimiminsoo/starvla-qwenpiv3-so101-marker --local-dir ./so101_marker_ckpt

python deployment/model_server/server_policy_gr00t_zmq.py \
    --ckpt_path ./so101_marker_ckpt/checkpoints/steps_20000_pytorch_model.pt \
    --port 5555 --use_bf16

framework.qwenvl.base_vlm in config.yaml points at Qwen/Qwen3-VL-4B-Instruct, so the base VLM downloads on first run. Inference needs roughly 11GB of VRAM in bf16.

Isaac Sim / LeIsaac client

Speaks the GR00T N1.6 ZMQ protocol, so the LeIsaac client connects unchanged:

python scripts/evaluation/policy_inference.py \
    --task LeIsaac-SO101-CupStack-v0 \
    --policy_type gr00tn1.6 --policy_host localhost --policy_port 5555

Camera order matters. Training fed front then wrist, while LeIsaac's scene declares wrist before front, so the raw wire dict order is reversed. The server orders images by the DataConfig's video_keys, which fixes this — but only on a starVLA checkout that has that ordering fix in deployment/model_server/gr00t_obs_adapter.py. On an older checkout the two views arrive swapped and the policy misbehaves without erroring.

Training

Real SO-101 teleoperation data, not simulation. Evaluating in Isaac Sim is a real-to-sim transfer and success there is not implied by the training loss.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 09c2317