/ Модель

Характеристики

Контекст
131 072 токена
Архитектура
openvla · dense
Базовая модель
prism-qwen25-extra-dinosiglip-224px-0_5b
Библиотека
transformers
Опубликована
27 июл 2026

VLA-Adapter-SO101-push-cube-step-10000

Изображение и текст → текст3 профессии

Промежуточный чекпойнт VLA-Adapter для управления роботом SO-101 при перемещении кубика по визуальной сцене.

9скачиваний за 30 дней0лайковвеса обновлены27 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VLA-Adapter-SO101-push-cube-step-10000 — промежуточный чекпойнт модели VLA-Adapter, дообученной для управления роботом SO-101 при выполнении задачи push_cube. В репозитории есть слитые веса LoRA, отдельные адаптер LoRA, голова непрерывных действий, проектор проприоцепции и дополнительные обучаемые компоненты; для полной политики требуются также голова действий и проектор, поэтому одного файла model.safetensors недостаточно. Базовая модель — Stanford-ILIAD/prism-qwen25-extra-dinosiglip-224px-0_5b, компактная визуально-языковая модель на основе Qwen 2.5 0.5B. Чекпойнт включает состояние обучения на 10 000 шаге и не является финальной версией на 20 000 шаге.

Модель предназначена для визуального восприятия сцены и предсказания непрерывных управляющих действий в задаче перемещения кубика роботом SO-101. Она рассчитана на входные изображения и текстовые инструкции, а выдаёт действия робота; также используются данные проприоцепции для управления. Лицензия в предоставленных данных не указана, поэтому перед распространением или развёртыванием следует проверить лицензии базовой модели, датасета и кода. Перед работой на физическом роботе README рекомендует проверить политику в симуляции или контролируемой среде.

Сценарии применения

  • управление SO-101 для толкания кубика
  • предсказание непрерывных действий робота по изображению и инструкции
  • эксперименты с визуально-языковым управлением манипулятором
  • проверка и продолжение дообучения политики SO-101

Ограничения

Это промежуточный чекпойнт на 10 000 шаге, а не финальная версия; для полной политики необходимы отдельные голова действий и проектор проприоцепции. Лицензии компонентов следует проверить отдельно, а поведение — валидировать в симуляции или контролируемой среде перед запуском на физическом роботе.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VLA-Adapter SO-101 Push Cube — Step 10,000

This repository contains an intermediate 10,000-optimizer-step checkpoint of VLA-Adapter fine-tuned for the SO-101 push_cube task.

Training configuration

SettingValue
Datasettaewonkoo/push_cube_v2_rlds
Optimizer step10,000 / 20,000
Per-device batch size4
Gradient accumulation4
Effective batch size16
Learning rate1e-4
SchedulerCosine with 2,000 warmup steps
LoRA rank32
Input images2 (front, top)
ProprioceptionEnabled, 6 dimensions
Action dimension6
Action chunk length8
PrecisionBF16 on an RTX 3090

The RLDS dataset contains 50 trajectories and 13,679 transitions. Actions and proprioceptive states follow the six-motor SO-101 representation.

Checkpoint contents

  • model.safetensors: VLA model with the LoRA weights merged
  • lora_adapter/: trainable LoRA adapter
  • action_head--10000_checkpoint.pt: continuous action head
  • proprio_projector--10000_checkpoint.pt: proprioception projector
  • vla_extras--10000_checkpoint.pt: trainable VLA extras such as action queries
  • training_state--10000_checkpoint.pt: optimizer, scheduler, scaler, and RNG state
  • processor, tokenizer, configuration, and dataset statistics

The separate action head and proprio projector are required for the SO-101 continuous-control policy. The merged model.safetensors alone is not the complete policy.

Code

Use the SO-101-compatible training and inference code from:

https://github.com/TaewonKoo/VLA-Adapter-SO101

This is an intermediate training checkpoint, not the final 20,000-step model. Review the base model, dataset, and code licenses before redistribution or deployment. Validate the policy in simulation or a controlled robot workspace before operating physical hardware.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
OpenVLAForActionPrediction
Ревизия весов
fe50368

0 моделей