Характеристики

Библиотека: lerobot
Опубликована: 6 июл 2026

Ссылки

hyundai-uiwang-right-dinov3-h64a30-imgonly

Языковая модельИзображение, текст → action

Политика Diffusion Policy с визуальным энкодером DINOv3 управляет правой рукой HDRB с кистью INSPIRE-RH56 по изображениям с двух камер.

9скачиваний за 30 дней0лайковвеса обновлены6 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это политика управления роботом на базе LeRobot Diffusion Policy с планировщиком FlowMatch и визуальным энкодером DINOv3 ViT-B/16 от Facebook, предварительно обученным и замороженным. Модель разработана для управления правой рукой робота HDRB с манипулятором INSPIRE-RH56 в сценариях, соответствующих обучающему набору Hyundai Uiwang.

На вход подаются только изображения с фронтальной и запястной камер; состояние робота игнорируется. Модель выдаёт блок из 64 шагов действий, из которых используется 30, с 26 значениями: 6 для руки робота и 20 для кисти. Указан один шаг инференса FlowMatch. Обучение выполнено на 118 эпизодах и 77 490 кадрах с частотой 30 Гц.

Для загрузки требуется получить доступ к gated-модели DINOv3 и принять её лицензию, а также использовать форк LeRobot с поддержкой register-токенов DINOv3 и параметра use_robot_state. Лицензия самой модели в предоставленных данных не указана.

Сценарии применения

управление правой рукой робота HDRB по изображениям
манипуляционные задачи с кистью INSPIRE-RH56
генерация последовательностей действий по фронтальной и запястной камерам

Ограничения

Модель принимает только изображения с фронтальной и запястной камер и игнорирует состояние робота; она предназначена для указанной конфигурации правой руки HDRB и кисти INSPIRE-RH56. Для загрузки необходим gated-доступ к DINOv3 и совместимый форк LeRobot.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hyundai Uiwang — Diffusion Policy (FlowMatch, DINOv3-base) — RIGHT (image-only)

LeRobot Diffusion Policy, FlowMatch scheduler (num_inference_steps=1), vision encoder facebook/dinov3-vitb16-pretrain-lvd1689m (ViT-B/16, pretrained+frozen). Long action chunk: horizon=64, n_action_steps=30. Robot: HDRB + INSPIRE-RH56 (right).

Model inputs: front_rgb + wrist_rgb images ONLY (use_robot_state=false; state is ignored)
Output: action(26) = arm 6 + hand 20.
Trained on the Hyundai Uiwang right-arm dataset (118 ep / 77,490 frames, 30 Hz).

Load-time requirements

DINOv3 gated access — loading builds the backbone via AutoModel.from_pretrained("facebook/dinov3-vitb16-pretrain-lvd1689m") (accept its license first).
lerobot fork with: DINOv3 register-token support + the use_robot_state config option (image-only).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 962252b