/ Модель

Характеристики

Контекст
262 144 токена
Лицензия
Apache 2.0
Базовая модель
Hy-Embodied-0.5-VLA-RoboTwin
Библиотека
lerobot
Опубликована
28 июл 2026

hy_vla_robotwin

Языковая модельИзображение, текст → action

Конвертация в формат LeRobot модели Tencent Hy-Embodied-0.5-VLA-RoboTwin для управления двуручным роботом по визуальным наблюдениям и текстовому заданию.

46скачиваний за 30 дней4лайкавеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

lerobot/hy_vla_robotwin — конвертация Hy-Embodied-0.5-VLA-RoboTwin от Tencent в формат LeRobot. Тензоры перенесены без изменений: README сообщает об идентичном отображении 1 628 тензоров и точном совпадении результатов прямого прохода с исходной моделью.

Модель принимает изображения и текстовое задание LeRobot, использует историю из 6 кадров с интервалом 5 и выдаёт действия робота для двуручной манипуляции. Горизонт модели составляет 40 токенов, физический горизонт действий — 20; за один образец выполняется 7 действий. Модель предназначена для RoboTwin и поддерживает выпущенное представление действий 16D для двух рук.

В описанном протоколе RoboTwin LeRobot-вариант успешно завершил 53 из 54 эпизодов; с учётом зависания планировщика как неудачи результат составил 53 из 55. Лицензия — Apache-2.0. Модель не поддерживает 12D-действия мобильного манипулятора: семантику основания робота это представление выразить не может.

Сценарии применения

  • управление двуручной манипуляцией в RoboTwin
  • выполнение задач роботом по текстовому заданию и изображениям
  • воспроизведение политики Hy-Embodied в окружении LeRobot

Ограничения

Поддерживается только выпущенное 16D-представление действий для двух рук. 12D-действия мобильного манипулятора не поддерживаются, поскольку представление не кодирует действия основания робота.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hy-Embodied-0.5-VLA — LeRobot conversion

Byte-identical tensor conversion of tencent/Hy-Embodied-0.5-VLA-RoboTwin at revision bd7bba6f5934ad62293a2a34f74760c6a3ef2ff8.

  • Author runtime revision: 8ba4c8cbdf42a4bcf0a19be4bd2841405dfe15e9
  • Model token horizon: 40
  • Physical action horizon: 20
  • Actions executed per sample: 7
  • Image history: 6 frames at interval 5
  • Action representation: relative_absolute
  • Euler inference steps: 10
  • Padded state/action width: 32/32
  • Tensor mapping: identity (1628 tensors)

The runtime consumes an already-selected LeRobot task string and never samples task augmentation text. norm_stats.pkl is retained for provenance; normalization is loaded at runtime from safe serialized processor state.

Validation

  • Strict load, save_pretrained, and strict reload passed with all 1,628 tensors mapped and no missing, unexpected, duplicate, or shape-mismatched tensors.
  • Full author-vs-LeRobot forward parity passed for batch sizes 1 and 2. Images, masks, tokens, state/targets, training velocity/loss, every velocity from the 10-step Euler sampler, the complete 11-state trajectory, and final sampled actions all had max, p95, and p99 error 0.0.
  • Final relative, absolute, and blended 16D RoboTwin actions had scalar and rotation-matrix max/p95 error 0.0.
  • On the pinned first-six-task RoboTwin quick protocol, the author wrapper scored 60/60. LeRobot scored 53/54 completed episodes; conservatively counting one native-planner hang as a failure gives 53/55 (96.36%) versus the matched author subset's 55/55, a 3.64-percentage-point delta.

Limitation

This policy supports the released 16D dual-arm pose/gripper embodiment only. A 12D mobile-manipulator action contains base semantics that the released 20D dual-arm representation cannot express and is rejected rather than silently truncated or reinterpreted.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
b913647

0 моделей