Характеристики

Опубликована: 14 авг 2026

Ссылки

Hugging Face

vam-cross-level5-ur5e-widowx-texture-teleopaligned-videolora200-action-decoder-iter900

dreamdifferent

Языковая модельИзображение, текст → action

Чекпойнт декодера World2Action преобразует видеокадры с двух камер в последовательности действий для робота WidowX.

4скачиваний за 30 дней0лайковвеса обновлены14 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VAM-Cross MimicVideo World2Action decoder — чекпойнт декодера действий из итерации 900, разработанный dreamdifferent. Он предназначен для преобразования видеонаблюдений в действия робота WidowX: использует изображения с двух камер и предсказывает последовательность из 15 действий для исполнительного устройства и захвата с частотой 5 Гц. Целевые позы заданы относительно текущей достигнутой позы, а вращение представлено в формате rotation_6d.

Чекпойнт получен в ходе запуска обучения на основе Video2World-бэкбона WidowX, начального декодера действий и замороженной Video LoRA. Обучение использовало датасет из 137 эпизодов и 54 706 кадров с телеметрическими демонстрациями. В репозитории доступны веса PyTorch и Safetensors; для использования требуются указанные в README закреплённые входные модели, датасет и конфигурация. Лицензия в предоставленных данных не описана.

Сценарии применения

предсказание действий WidowX по изображениям с двух камер
управление захватом и исполнительным устройством по видеонаблюдениям
воспроизведение телеметрических демонстраций манипуляций
эксперименты по преобразованию видео в действия робота

Ограничения

Чекпойнт обучен на конкретном датасете телеметрических демонстраций WidowX и использует два заданных ракурса камеры; перенос на другие роботы, сцены или конфигурации камер не подтверждён. Для запуска нужны закреплённые базовые компоненты, датасет и конфигурация, которые не включены в репозиторий.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VAM-Cross MimicVideo World2Action decoder

This private repository contains the World2Action decoder checkpoint from iteration 900 of w2a_ur5e_level5_widowx_texture_2cam_hstack_action_iter2374_videolora_iter200_widowx_teleop_recording_frame_v1. The run stopped because of unknown. The newest complete model, optimizer, scheduler, and trainer checkpoint set was verified before selecting the uploaded model weight.

Required frozen inputs

MimicVideo commit: e3355dbc93132b576c02f920a59b4fc18a4f5906
Initial Video2World backbone: dreamdifferent/widowx250-video-fused@f0cea76b62c5dd66b06b9f965932ddea32a7b546
Initial action decoder: dreamdifferent/vam-cross-target-widowx250-native-2cam-action-decoder@93750cccda01620e3c028477e4c49bc5c996a68d
Frozen Video LoRA: dreamdifferent/vam-cross-level5-ur5e-widowx-texture-video-lora-iter200@b8a8fce6551e5d2c4d5eaaa538e2493706ec4acc

Action and data contract

Dataset: dreamdifferent/vam-cross-level5-ur5e-widowx-texture@a542b487e2967c4294082d6808f988bb25336d1e
Episodes/frames: 137 / 54706
Cameras: observation.images.corner_cam, observation.images.front_cam
Target: 15 achieved-EE/gripper actions at 5 Hz
Pose target: relative_to_current_achieved_pose in widowx_reference_base/teleop_aligned_tool
Rotation: rotation_6d

The dataset and frozen inputs are not included. Use the pinned JSON and effective config.yaml included in this repository.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: e2ca010