/ Модель

Характеристики

Библиотека
lerobot
Опубликована
5 июн 2026

pi05_droid_jointpos

Языковая модельИзображение, текст → action3 профессии

Конвертированная в PyTorch политика π0.5, дообученная на DROID для управления суставными позициями робота по состоянию и изображениям камер.

1 180скачиваний за 30 дней0лайковвеса обновлены8 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DAVIAN-Robotics/pi05_droid_jointpos — конвертированная в PyTorch политика OpenPI π0.5, дообученная на данных DROID для управления роботизированной рукой в пространстве позиций суставов. Репозиторий адаптирует официальные веса JAX/Orbax к формату PI05Policy библиотеки LeRobot; параметры модели хранятся в safetensors и имеют тип bfloat16. Политика принимает состояние из семи суставных позиций и положения захвата, а также изображения с внешней и запястной камер, и предсказывает последовательности действий длиной 15 шагов. Модель оценивали в симуляции Isaac Lab на BananaInBowlTask: успешное выполнение в 7 из 8 сред.

Для запуска требуется внешний DROID-адаптер: он преобразует входы и выходы согласно логике OpenPI. Предсказанные моделью значения суставов являются приращениями, поэтому для получения абсолютных позиций к ним нужно прибавить текущие позиции суставов; затем используется выход для семи суставов и захвата. Лицензия в предоставленных данных не указана.

Сценарии применения

  • управление роботизированной рукой по изображениям камер
  • манипуляции с предметами в симуляции Isaac Lab
  • выполнение задачи помещения банана в миску
  • предсказание последовательностей суставных действий по состоянию робота

Ограничения

Для DROID требуется внешний адаптер преобразования входов и выходов. Проверка приведена только для одной задачи в симуляции, на восьми средах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pi05_droid_jointpos (lerobot PyTorch port)

OpenPI's pi05_droid_jointpos (π0.5 fine-tuned on DROID with a joint-position action space), converted to the lerobot PI05Policy (PyTorch) format.

  • Source: gs://openpi-assets-simeval/pi05_droid_jointpos (JAX/orbax), the official OpenPI release.
  • Conversion: openpi/examples/convert_jax_model_to_pytorch.py (JAX → PyTorch), then assembled with the lerobot config and processors.
  • Verified: RoboLab (Isaac Lab) BananaInBowlTask, 8-env server-client evaluation → 7/8 (on par with the openpi JAX baseline with the same weights, 6/8).

Files

filecontents
config.jsonPI05Config — max_state_dim=8, chunk_size=15, dtype=bfloat16, STATE/ACTION QUANTILES
model.safetensors812 keys (Gemma embed_tokens is tied to lm_head)
policy_preprocessor.json (+ *_normalizer_processor.safetensors)rename → batch → DROID quantile normalize → state discretize + tokenize → device
policy_postprocessor.json (+ *_unnormalizer_processor.safetensors)DROID quantile unnormalize

Usage

from lerobot.policies.pi05.modeling_pi05 import PI05Policy
from lerobot.policies.factory import make_pre_post_processors

repo = "DAVIAN-Robotics/pi05_droid_jointpos"
policy = PI05Policy.from_pretrained(repo).eval()
preprocessor, postprocessor = make_pre_post_processors(policy.config, pretrained_path=repo)

DROID I/O adapter (required)

This checkpoint is self-contained only for the lerobot-native stages (normalize / tokenize / model / unnormalize). The DROID-specific input/output conversion is OpenPI's droid_policy logic, which lerobot does not include, so an external adapter is required:

  • Input: observation.state = concat(joint_position[7], gripper_position[1]) (raw; the processor normalizes it). Provide only two images, observation.images.base_0_rgb (exterior) and observation.images.left_wrist_0_rgb (wrist); the model pads the third camera with -1 automatically. ([0, 1] float, CHW.)
  • Output: the model predicts joint deltas (dims 0–6), so add the current joint positions to make them absolute (AbsoluteActions, mask = 7 × True + 1 × False), then use only action[:, :8] (7 joints + 1 gripper).
  • Reference implementation: sft/scripts/pi05_lerobot_server/ (droid_glue.py, policy.py) in the DiscoDemo code repository.

Notes

  • max_state_dim=8: pi05 discretizes the normalized state into 256 bins and puts it into the prompt. DROID's actual state is 8-dimensional (7 joints + 1 gripper), so only 8 values must be included to match openpi. With the default pi05 value (32), the 24 extra tokens contaminate the conditioning and degrade performance (in particular, early gripper closing). This repo sets max_state_dim=8 explicitly in both config.json and policy_preprocessor.json (prepare-state step), so standard loading works correctly. (lerobot's default save does not serialize this value for the prepare step, so it was added manually; set it the same way if you build your own.)
  • Do not confuse with RLinf/RLinf-Pi05-Polaris-droid_jointpos: the parameter key structure and norm_stats are the same, but those are different, RL-fine-tuned weights. This repo is a conversion of the official OpenPI pi05_droid_jointpos.

License / attribution

The weights are derived from OpenPI's (Physical Intelligence) pi05_droid_jointpos. Use is subject to the license of the upstream openpi project.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
66f1ce6

0 моделей