Характеристики

Опубликована: 19 июл 2026

Ссылки

Hugging Face

widowx250-video-fused

dreamdifferent

Языковая модельИзображение, текст → action

Слитый чекпойнт Video2World DiT для MimicVideo моделирует видео роботизированных взаимодействий по данным камер.

0скачиваний за 30 дней0лайковвеса обновлены19 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это слитый чекпойнт Video2World DiT для MimicVideo, подготовленный dreamdifferent на основе Bridge-инициализированного чекпойнта и LoRA-адаптера с итерации 1060. Модель предназначена для сценариев робототехники: по видеонаблюдениям с камер робота моделировать видео будущего взаимодействия с целевым объектом; указаны камеры corner_cam и front_cam и частота видео 5 кадров в секунду.

Репозиторий содержит только веса видеобэкбона в формате PyTorch, а не готовый комплект для инференса. Для запуска нужны совместимый код MimicVideo, видеотокенизатор и T5-энкодер. Обучающий датасет закрытый и в репозитории отсутствует; при использовании необходимо соблюдать условия upstream MimicVideo, NVIDIA Cosmos и базового чекпойнта.

Сценарии применения

моделирование будущего видео взаимодействия робота с целевым объектом
генерация видеопоследовательностей по наблюдениям с камер робота
исследование Video2World-моделей для робототехнических сценариев

Ограничения

Это не полный комплект для инференса: необходимы совместимый код MimicVideo, видеотокенизатор и T5-энкодер. Обучающий датасет закрытый и не включён в репозиторий.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VAM-Cross MimicVideo fused Video2World DiT

This public repository contains the Bridge-initialized Video2World DiT after fusing the trainable-only LoRA from iteration 1060 of v2w_widowx_target_bridgeinit_lora_r256. The fused checkpoint is checkpoints/video_backbone/iter_000001060_fused.pt.

The Bridge backbone and LoRA adapter are no longer separate at load time. This is a fused DiT checkpoint, not a complete inference bundle: the compatible MimicVideo code, video tokenizer, and T5 encoder are still required.

Provenance

MimicVideo commit: e3355dbc93132b576c02f920a59b4fc18a4f5906
Bridge checkpoint repository: jonpai/mimic-video
Bridge checkpoint revision: f28339034831e3c2374be075e622e1ff38ebe0f8
Source dataset revision: dreamdifferent/vam-cross-target-widowx250-native@44c28a3bada463f06845daee8a1dd87607d32956
Cameras: observation.images.corner_cam, observation.images.front_cam
Video rate: 5 Hz

The private training dataset is not included. Users must comply with the upstream MimicVideo, NVIDIA Cosmos, and base-checkpoint terms.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: f0cea76