/ Модель

Характеристики

Базовая модель
Qwen2.5-VL-3B-Instruct-Action
Опубликована
28 окт 2025

Qwen2.5-VL-FAST-LIBERO-4in1

Языковая модельИзображение, текст → action3 профессии

Дообученная зрительно-языковая политика StarVLA для предсказания действий робота в симуляторе LIBERO по RGB-изображению.

104скачиваний за 30 дней0лайковвеса обновлены4 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

StarVLA QwenFAST Qwen2.5-VL-3B for LIBERO 4-in-1 — контрольная точка на 30 000 шагов обучения, созданная с использованием фреймворка StarVLA QwenFast. Модель дообучена на базе StarVLA/Qwen2.5-VL-3B-Instruct-Action и предназначена для управления роботом в симуляторе LIBERO.

Политика получает одно RGB-изображение и авторегрессионно предсказывает токены действий, закодированные токенизатором FAST из непрерывных последовательностей действий. Она обучена на смеси LIBERO Object, Goal, Spatial и LIBERO-10. Числовое состояние робота модель не использует; сведения о длине контекста и лицензии в доступных данных не приведены.

Контрольная точка предназначена для исследовательских экспериментов в симуляции. Для неё не опубликованы результаты оценки в LIBERO, проверка на физическом роботе или гарантии безопасности, поэтому качество выполнения задач по этой карточке установить нельзя.

Сценарии применения

  • управление роботом в задачах LIBERO Object
  • выполнение целевых манипуляций в LIBERO Goal
  • пространственные манипуляции в LIBERO Spatial
  • оценка политики управления на задачах LIBERO-10
  • эксперименты с авторегрессионной генерацией действий робота

Ограничения

Публичные результаты оценки в LIBERO и проверка на физическом роботе отсутствуют; модель предназначена для симуляционных экспериментов. Модель не принимает числовое состояние робота и не сопровождается гарантиями безопасности.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

StarVLA QwenFAST Qwen2.5-VL-3B for LIBERO 4-in-1 (30K)

This repository contains the uploaded 30,000-step checkpoint from the 1025_libero4in1_qwenfast run. It uses the StarVLA QwenFast framework and the libero_all mixture, which combines LIBERO Object, Goal, Spatial, and LIBERO-10 with equal registry weights. The policy tokenizes continuous action chunks with FAST and predicts the resulting action tokens autoregressively with the VLM; it does not run a diffusion sampler.

Model details

ItemPublished configuration
FrameworkStarVLA QwenFast
VLMLocal snapshot named Qwen2.5-VL-3B-Instruct-Action; revision not recorded
Action encodingFAST tokenizer over continuous action chunks
Training objectiveAutoregressive cross-entropy over mapped action tokens
InferenceVLM token generation followed by FAST-token decoding
Action dimension7
Numeric policy-state inputNone in the checked QwenFast forward and inference paths; YAML state_dim: 7 is unused there
Packaged raw state statistics8D under franka; dataset artifact only for this policy path
Action representation / chunkdelta_qpos / 8 steps
Camera inputimage_0, 224 x 224
Uploaded checkpointcheckpoints/steps_30000_pytorch_model.pt

The legacy YAML retains dino, action_model_type: DiT-B, diffusion, and state_dim: 7 fields. The selected QwenFast implementation does not construct a DINO/DiT head or read numeric state: it trains the VLM on FAST action tokens. Do not turn the packaged 8D dataset state statistics into a model input that the checkpoint was not trained to consume.

Training data

libero_all resolves to four LeRobot datasets:

  • libero_object_no_noops_1.0.0_lerobot
  • libero_goal_no_noops_1.0.0_lerobot
  • libero_spatial_no_noops_1.0.0_lerobot
  • libero_10_no_noops_1.0.0_lerobot

The packaged dataset_statistics.json contains the franka normalization entry used at inference.

Training details

SettingValue in config.yaml
Intended maximum steps80,000
Released step30,000
Per-device VLA batch size16
Gradient accumulation1
Warm-up steps5,000
Base / interface / action LR3e-5 / 1e-5 / 1e-4
OptimizerAdamW, betas (0.9, 0.95), epsilon 1e-8
SchedulerCosine with minimum LR 1e-6
VLA / VLM loss scale1.0 / 0.1
Packaged freeze_modulesBoolean true; the public trainer only accepts a comma-separated string, so this does not select modules to freeze
Gradient checkpointing / mixed precisionEnabled / enabled
Seed42

summary.jsonl lists 10K, 20K, and 30K. It does not contain success rates.

Evaluation status

Missing for this artifact. The Hub repository contains no LIBERO rollout logs, per-suite success table, seed list, or aggregate result. The StarVLA paper reports 30K LIBERO results for Qwen3-VL-4B variants, but this checkpoint uses a Qwen2.5-VL-3B backbone, so those values are not transferred to this card.

For a future comparable report, the project protocol evaluates all 10 tasks in each suite with 50 episodes per task (500 trials per suite) and should record the evaluator revision and seed.

Files

config.yaml
dataset_statistics.json
summary.jsonl
checkpoints/
└── steps_30000_pytorch_model.pt

Loading and evaluation

huggingface-cli download StarVLA/Qwen2.5-VL-FAST-LIBERO-4in1 \
  --local-dir Qwen2.5-VL-FAST-LIBERO-4in1

export CKPT=$PWD/Qwen2.5-VL-FAST-LIBERO-4in1/checkpoints/steps_30000_pytorch_model.pt
python deployment/model_server/server_policy.py \
  --ckpt_path "$CKPT" \
  --port 10093 \
  --use_bf16

Run the simulator in a separate environment using the StarVLA LIBERO guide and select normalization key franka.

Intended use and limitations

This checkpoint is intended for LIBERO simulation research with a single RGB view and 7D delta-joint-position actions. Its runtime action representation is autoregressive FAST token generation, even though the legacy YAML labels an unused action-model block DiT-B. No public score, physical-robot validation, or safety guarantee is provided.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
2a30a31

0 моделей