/ Модель

Характеристики

Контекст
262 144 токена
Лицензия
Apache 2.0
Базовая модель
Hy-Embodied-0.5-VLA-UMI
Библиотека
lerobot
Опубликована
28 июл 2026

hy_vla_umi

Языковая модельИзображение, текст → action3 профессии

Конверсия Hy-Embodied-0.5-VLA-UMI для LeRobot преобразует визуальные наблюдения и инструкцию задачи в действия двурукого робота-манипулятора.

53скачиваний за 30 дней6лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

lerobot/hy_vla_umi — конверсия модели Hy-Embodied-0.5-VLA-UMI от Tencent в формат LeRobot. README сообщает о побайтно идентичном преобразовании тензоров, а метаданные обозначают связь с базовой моделью как дообучение; точный характер связи в источниках расходится. Модель принимает визуальные наблюдения и текстовую инструкцию задачи и формирует действия робота для манипуляции. В этой версии используются один кадр изображения, горизонт предсказания и исполнения действий по 50 шагов, относительное представление действий и 10 шагов Euler-сэмплирования.

Модель предназначена для управления двуруким роботом с 16-мерным представлением поз и захватов. README сообщает о строгой загрузке всех 1628 тензоров и полном совпадении прямого прохода с авторской реализацией на проверенных входах. Лицензия — Apache-2.0. Поддерживается только выпущенное представление двуручного манипулятора; действия мобильного манипулятора с семантикой базы не поддерживаются.

Сценарии применения

  • управление двуруким роботом по изображению и текстовой инструкции
  • предсказание последовательности действий робота для манипуляции
  • выполнение задач захвата и перемещения объектов
  • интеграция политики VLA в рабочий процесс LeRobot

Ограничения

Поддерживается только выпущенное 16-мерное представление двуручного манипулятора; действия мобильного манипулятора с семантикой базы модель не выражает и отклоняет. README заявляет побайтно идентичную конверсию, тогда как метаданные помечают модель как дообучение базовой модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hy-Embodied-0.5-VLA — LeRobot conversion

Byte-identical tensor conversion of tencent/Hy-Embodied-0.5-VLA-UMI at revision 3f53d1f8d2bc587c523cfdc9f1041ceee42c2524.

  • Author runtime revision: 8ba4c8cbdf42a4bcf0a19be4bd2841405dfe15e9
  • Model token horizon: 50
  • Physical action horizon: 50
  • Actions executed per sample: 50
  • Image history: 1 frames at interval 1
  • Action representation: relative
  • Euler inference steps: 10
  • Padded state/action width: 32/32
  • Tensor mapping: identity (1628 tensors)

The runtime consumes an already-selected LeRobot task string and never samples task augmentation text. norm_stats.pkl is retained for provenance; normalization is loaded at runtime from safe serialized processor state.

Validation

  • Strict load, save_pretrained, and strict reload passed with all 1,628 tensors mapped and no missing, unexpected, duplicate, or shape-mismatched tensors.
  • Full author-vs-LeRobot forward parity passed for batch sizes 1 and 2. Images, masks, tokens, state/targets, training velocity/loss, every velocity from the 10-step Euler sampler, the complete 11-state trajectory, and final sampled actions all had max, p95, and p99 error 0.0.
  • One official BF16 forward/backward/SGD step had finite loss and gradients, 372,388,880 nonzero gradient elements, and a nonzero parameter update.

Limitation

This policy supports the released 16D dual-arm pose/gripper embodiment only. A 12D mobile-manipulator action contains base semantics that the released 20D dual-arm representation cannot express and is rejected rather than silently truncated or reinterpreted.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
287bc54

0 моделей