/ Модель

Характеристики

Базовая модель
pi05_base
Библиотека
lerobot
Опубликована
17 июл 2026

pi05-dexmate-blue-bird

Языковая модельИзображение, текст → action

Дообученная VLA-политика для мобильного манипулятора Dexmate Vega 1 Pro, обученная переносить синюю птицу на стол по изображению с камеры и состоянию робота.

14скачиваний за 30 дней0лайковвеса обновлены17 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kasra99 опубликовал артефакты политики Dexmate Vega 1 Pro, полученной дообучением π0.5 для одной задачи мобильной манипуляции: перенести синюю птицу на стол для совещаний. Модель использует базовую VLA-политику lerobot/pi05_base и библиотеку LeRobot; артефакты сохранены в формате safetensors.

На вход политика принимает RGB-изображение с головной камеры и 27 значений состояния робота, а выдаёт 27 значений управления: целевые положения суставов, команды кистям и скорости мобильной базы. Предсказания формируются блоками по 50 шагов с 10 шагами инференса. Обучение проведено на 39 эпизодах одного набора данных; ещё 5 эпизодов использовались для офлайн-валидации. Модель рассчитана на воспроизведение конкретной обученной задачи, а не на общее управление роботом.

Для загрузки требуется совместимая среда LeRobot 0.6.0 и весь каталог артефактов, включая препроцессор и постпроцессор; препроцессор использует токенизатор google/paligemma-3b-pt-224. Автономная работа на реальном роботе не подтверждена. Для внедрения нужны совместимое формирование состояния и адаптер команд Dexmate, ограничения суставов и базы, контроль свежести данных и интеграция аварийной остановки. Лицензия в предоставленных источниках не описана.

Сценарии применения

  • перенос синей птицы на стол для совещаний
  • воспроизведение обученной задачи мобильной манипуляции на Dexmate Vega 1 Pro
  • офлайн-прогон политики по RGB-изображению и состоянию робота
  • проверка вариантов чекпойнта в контролируемых испытаниях робота

Ограничения

Политика обучена для одной задачи на небольшом наборе данных, а её успешность на реальном роботе ещё не подтверждена. Требуются совместимые препроцессор и постпроцессор, среда LeRobot 0.6.0, безопасное ограничение команд и аварийная остановка; лицензия в источниках не приведена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Dexmate Vega 1 Pro π0.5 — blue bird task

This private repository contains LeRobot 0.6.0 inference artifacts for a π0.5 policy fine-tuned on a single-task Dexmate Vega 1 Pro mobile-manipulation dataset.

The task instruction used during recording and training is:

put the blue bird on the meeting desk

Immutable training inputs

  • Dataset: Kasra99/dexmate_blue_bird
  • Dataset commit: 72a97b1a916699c17177e311463729d757f3119c
  • Base policy: lerobot/pi05_base
  • Base-policy commit: 7de663972b7817d2c4cf2d84c821153dfea772e9
  • Software: LeRobot 0.6.0, Python 3.12, PyTorch 2.11.0

The LeRobot v3 dataset has 44 episodes and 67,219 frames at 30 FPS. Training used 39 episodes, with 5 episodes held out for offline validation. It contains one 640×480 RGB head camera, a 27-value state, and a 27-value action.

Candidate revisions

Each tag points to a complete pretrained_model artifact at that training checkpoint. The repository's main branch ends at the 30,000-step artifact.

TagUpdatesHeld-out loss
step-0050005,0000.1035
step-01500015,0000.1042
step-03000030,0000.1258

The 5,000-step checkpoint has the lowest offline loss, but this small single-task holdout is not sufficient to select a deployment checkpoint. Compare the candidates with short, guarded robot trials and pin deployment to the chosen commit SHA rather than mutable main.

Policy configuration

  • bfloat16 π0.5 policy
  • 50-step action chunks
  • 10 denoising/inference steps
  • 27 physical action values
  • 27-value input state, padded internally to 32
  • quantile normalization for state and action
  • expert-only fine-tuning
  • relative-action conversion disabled
  • one real head camera; pretrained wrist-camera slots are absent/masked

Use every file in the revision. In particular, the serialized LeRobot preprocessor and postprocessor contain the camera rename and quantile normalization state. Loading only model.safetensors is incorrect.

The preprocessor accepts the original dataset camera key observation.images.head and renames it to observation.images.base_0_rgb. It also references the tokenizer google/paligemma-3b-pt-224, which must be available in the Hugging Face cache for offline deployment.

Observation and action layout

The 27 values are ordered as follows:

  1. torso joints 1–3
  2. head joints 1–3
  3. left-arm joints 1–7
  4. right-arm joints 1–7
  5. left-hand open/close and thumb-opposition ratios
  6. right-hand open/close and thumb-opposition ratios
  7. base vx, vy, and wz

For observations, the first 20 values are measured positions in radians, the four hand values are measured ratios, and the final three values are measured base velocities. For actions, the first 20 values are absolute joint targets in radians, the four hand values are absolute ratios in [0, 1], and the last three values are base velocity commands in m/s, m/s, and rad/s. The ROS base frame convention is +x forward, +y left, and +z up.

Do not interpret the joint targets as deltas or velocities, and do not integrate the base commands into poses.

Download

Authenticate with a read-only token, then download an immutable candidate:

hf download Kasra99/pi05-dexmate-blue-bird \
  --revision step-005000 \
  --local-dir models/pi05-dexmate-blue-bird

For production, replace the human-readable tag with the resolved commit SHA. Use a LeRobot 0.6.0-compatible environment and load the downloaded directory as the policy path.

Scope and safety

This repository is a policy artifact, not a complete Dexmate controller. A deployment still requires the exact recorder-compatible state construction, RGB camera conversion, Dexmate action adapter, hard joint/base limits, freshness watchdogs, E-stop integration, and a safe chunk-execution strategy.

This policy has not yet been validated for autonomous real-robot success. Begin with offline forward passes and observe-only ROS replay. Use reduced limits, a ready E-stop, and explicit arming for any later physical trial.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
305c4bf

0 моделей