/ Модель

Характеристики

Опубликована
9 сен 2026

widowx250-wrist-ablation-v1-video-fused

Языковая модельИзображение, текст → action

Слитый с LoRA чекпойнт Video2World DiT для моделирования видео в робототехнических сценариях WidowX 250.

0скачиваний за 30 дней0лайковвеса обновлены9 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это слитый чекпойнт Video2World DiT для робототехнического моделирования видео, опубликованный dreamdifferent. Он получен применением обучаемых параметров LoRA с итерации 1060 к базовой модели jonpai/mimic-video; адаптер и исходная модель при загрузке отдельно не требуются. Чекпойнт обучен на одной задаче с изображениями угловой и запястной камер робота WidowX 250, с частотой видео 5 кадров в секунду.

Модель предназначена для сценариев MimicVideo, где требуется предсказывать видео из мира робота. Репозиторий содержит только слитый бэкбон DiT и не является готовым комплектом для инференса: нужны совместимые код MimicVideo, видеотокенизатор и T5-энкодер. Датасет обучения не включён. При использовании необходимо соблюдать условия upstream MimicVideo, NVIDIA Cosmos и базового чекпойнта; конкретная лицензия в предоставленных данных не указана.

Сценарии применения

  • предсказание видео по данным камер робота
  • моделирование визуальных наблюдений WidowX 250
  • эксперименты с Video2World для робототехники

Ограничения

Чекпойнт не является самостоятельным комплектом для инференса: требуются совместимый код MimicVideo, видеотокенизатор и T5-энкодер. Обучающий датасет не включён; условия upstream-компонентов необходимо соблюдать.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VAM-Cross MimicVideo fused Video2World DiT

This public repository contains a fused Video2World DiT produced by applying the trainable-only LoRA from iteration 1060 of v2w_widowx_target_2cam_wrist_ablation_v1_bridgeinit_lora_r256. The fused checkpoint is checkpoints/video_backbone/iter_000001060_fused.pt.

The initial backbone and LoRA adapter are no longer separate at load time. This is a fused DiT checkpoint, not a complete inference bundle: the compatible MimicVideo code, video tokenizer, and T5 encoder are still required.

Provenance

  • MimicVideo commit: e3355dbc93132b576c02f920a59b4fc18a4f5906
  • Initial backbone kind: bridge_finetuned_fused
  • Initial backbone repository: jonpai/mimic-video
  • Initial backbone revision: f28339034831e3c2374be075e622e1ff38ebe0f8
  • Initial backbone path: video_backbone/v2w_bridge_lora_rank256_lr1.778e-04_bsz64_iter_000070043_fused.pt
  • Initial backbone SHA-256: 2723645edb158661af6d8e1c623ec21a63626d96e959799abb0b758397ac8c88
  • Source dataset revision: dreamdifferent/vam-cross-target-widowx250-native-corner-wrist@577a7e8b083dbdc267aec4eb84c109730884e1ce
  • Training tasks: 1
  • Cameras: observation.images.corner_cam, observation.images.wrist_cam
  • Video rate: 5 Hz

The private training dataset is not included. Users must comply with the upstream MimicVideo, NVIDIA Cosmos, and base-checkpoint terms.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
8e39d96

0 моделей