/ Модель

Характеристики

Базовая модель
Qwen2.5-VL-3B-Instruct
Опубликована
28 окт 2025

Qwen2.5-VL-OFT-LIBERO-4in1

Языковая модельИзображение, текст → action3 профессии

Чекпойнт StarVLA на базе Qwen2.5-VL-3B-Instruct преобразует зрительные наблюдения и инструкции в действия робота для задач LIBERO.

149скачиваний за 30 дней1лайквеса обновлены4 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

StarVLA/Qwen2.5-VL-OFT-LIBERO-4in1 — исследовательский чекпойнт политики vision-language-action, разработанный в рамках проекта StarVLA на базе Qwen2.5-VL-3B-Instruct. Доступный артефакт соответствует 30 000 шагам обучения и предназначен для управления роботом в симуляторе LIBERO по зрительным наблюдениям и инструкциям на естественном языке. Обучение объединяет наборы LIBERO Object, Goal, Spatial и LIBERO-10 с равным весом.

Сценарии применения

  • управление роботом в симуляторе LIBERO по текстовой инструкции и изображению
  • выполнение манипуляционных задач из LIBERO Object
  • выполнение целевых задач из LIBERO Goal
  • выполнение пространственных задач из LIBERO Spatial
  • оценка политики на задачах LIBERO-10

Ограничения

Для этого чекпойнта отсутствуют журналы прогонов и количественные результаты LIBERO; точная ревизия базовой VLM и историческая ревизия кода не зафиксированы. Модель не валидирована для других робототехнических платформ или физических роботов и не настроена с учётом безопасности.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

StarVLA QwenOFT Qwen2.5-VL-3B for LIBERO 4-in-1 (30K)

This repository publishes one 30,000-step checkpoint from the 1025_libero_all_qwengoft run. The trainer target in config.yaml is 80K and summary.jsonl lists checkpoints through 50K, but no 40K or 50K weight file is present; the model available to download is the 30K artifact.

Model details

ItemPublished configuration
FrameworkStarVLA QwenOFT
VLMLocal snapshot named Qwen2.5-VL-3B-Instruct; revision not recorded
Action featuresHidden states at repeated action-placeholder tokens
Action headTwo-block residual MLP with direct L1 regression
Action dimension7
Numeric policy-state inputNone in the checkpoint-era QwenOFT action-head path; YAML state_dim: 7 is not an MLP input
Packaged raw state statistics8D under franka; not evidence of a direct policy-state input
Action representation / chunkdelta_qpos / 8 steps
Camera inputimage_0, 224 x 224
Uploaded checkpointcheckpoints/steps_30000_pytorch_model.pt

The legacy YAML retains dino, action_model_type: DiT-B, diffusion, and state_dim: 7 fields. The selected QwenOFT implementation does not build those components: its action-model factory constructs a residual MLP, consumes VLM action-placeholder hidden states, and optimizes L1 action loss. Later opt-in code can serialize state into the instruction, but no numeric state is fed to this checkpoint's MLP head. The stale fields must therefore not be presented as runtime architecture.

Training data

libero_all combines equal-weight, no-noop LeRobot versions of LIBERO Object, Goal, Spatial, and LIBERO-10. The packaged franka statistics provide the action normalization contract; their state entry comes from the dataset and does not imply direct state conditioning for this policy.

Training details

SettingValue in config.yaml
Intended maximum steps80,000
Released step30,000
Per-device VLA batch size16
Gradient accumulation1
Warm-up steps5,000
Base / interface / action LR3e-5 / 1e-5 / 1e-4
OptimizerAdamW, betas (0.9, 0.95), epsilon 1e-8
SchedulerCosine with minimum LR 1e-6
VLA / VLM loss scale1.0 / 0.1
Packaged freeze_modulesBoolean true; the public trainer only accepts a comma-separated string, so this does not select modules to freeze
Gradient checkpointing / mixed precisionEnabled / enabled
Seed42

Evaluation status

Missing for this artifact. There are no LIBERO rollout logs or quantitative results in the Hub repository. The Qwen3-VL-4B OFT numbers in the StarVLA paper refer to a different backbone/release and are not assigned to this Qwen2.5-VL checkpoint.

The expected reproducible report is 50 episodes for each of 10 tasks in every suite, with Object, Goal, Spatial, LIBERO-10, and their unweighted average reported separately.

Files

config.yaml
dataset_statistics.json
summary.jsonl
checkpoints/
└── steps_30000_pytorch_model.pt

Loading and evaluation

huggingface-cli download StarVLA/Qwen2.5-VL-OFT-LIBERO-4in1 \
  --local-dir Qwen2.5-VL-OFT-LIBERO-4in1

export CKPT=$PWD/Qwen2.5-VL-OFT-LIBERO-4in1/checkpoints/steps_30000_pytorch_model.pt
python deployment/model_server/server_policy.py \
  --ckpt_path "$CKPT" \
  --port 10093 \
  --use_bf16

Use the StarVLA LIBERO guide and normalization key franka for the simulator client.

Intended use and limitations

This is a LIBERO simulation research checkpoint. Its exact VLM revision, benchmark score, and historical code revision are not fully recorded. The public OFT implementation establishes the MLP/L1 action-head structure, while the stale YAML fields should not be used to instantiate a DiT. It has not been validated for other embodiments or physical robots and is not safety-tuned.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
a60fff4

0 моделей