Характеристики

Опубликована: 23 сен 2026

Ссылки

vam-cross-level2-so101-widowx-texture-teleopaligned-videolora400-action-decoder-iter1800

Языковая модельИзображение, текст → action3 профессии

Чекпойнт декодера World2Action, который по видео с двух камер предсказывает последовательность действий робота SO-101/WidowX.

11скачиваний за 30 дней0лайковвеса обновлены23 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это чекпойнт декодера World2Action из проекта VAM-Cross MimicVideo, опубликованный командой dreamdifferent. Он предназначен для преобразования видеонаблюдений в действия робота SO-101/WidowX: модель предсказывает последовательность из 15 действий положения исполнительного механизма и захвата с частотой 5 Гц. Обучение выполнено на данных телеоперации с двух камер, с целями, заданными относительно текущей достигнутой позы; для вращения используется представление rotation_6d.

Это веса итерации 1800 эксперимента, обученного с замороженной Video2World-основой, декодером действий и Video LoRA. Для запуска требуются эти входные компоненты и датасет, которые в репозитории не включены. Веса доступны в форматах PyTorch и safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

предсказание действий робота по видео с двух камер
генерация последовательности движений манипулятора и захвата
воспроизведение телеоперационных движений на роботе WidowX
эксперименты с преобразованием видеонаблюдений в действия робота

Ограничения

Чекпойнт обучен на конкретном наборе телеоперационных данных и конфигурации камер; для использования нужны датасет и замороженные базовые компоненты, отсутствующие в репозитории. Это промежуточный экспериментальный чекпойнт итерации 1800.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VAM-Cross MimicVideo World2Action decoder

This public repository contains the World2Action decoder checkpoint from iteration 1800 of w2a_so101_level2_widowx_texture_2cam_hstack_action_iter2374_videolora_iter400_widowx_teleop_recording_frame_v1. The run stopped because of completed. The newest complete model, optimizer, scheduler, and trainer checkpoint set was verified before selecting the uploaded model weight.

Required frozen inputs

MimicVideo commit: e3355dbc93132b576c02f920a59b4fc18a4f5906
Initial Video2World backbone: dreamdifferent/widowx250-video-fused@f0cea76b62c5dd66b06b9f965932ddea32a7b546
Initial action decoder: dreamdifferent/vam-cross-target-widowx250-native-2cam-action-decoder@93750cccda01620e3c028477e4c49bc5c996a68d
Frozen Video LoRA: dreamdifferent/vam-cross-level2-so101-widowx-texture-video-lora-iter-400@f770834a2630cbe8ed15ab9bc02cae0178506ced

Action and data contract

Dataset: dreamdifferent/vam-cross-level2-so101-widowx-texture@a59b0407fe9ddc4fcd00430d70ce846ab40b33a6
Episodes/frames: 298 / 54354
Cameras: observation.images.corner_cam, observation.images.front_cam
Target: 15 achieved-EE/gripper actions at 5 Hz
Pose target: relative_to_current_achieved_pose in widowx_reference_base/teleop_aligned_tool
Rotation: rotation_6d

The dataset and frozen inputs are not included. Use the pinned JSON and effective config.yaml included in this repository.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: f0a308f