/ Модель

Характеристики

Лицензия
Своя лицензия
Библиотека
pytorch
Опубликована
2 сен 2026

WhatMoves

Видео из изображенияИзображение, текст → видео

WhatMoves — набор чекпойнтов и адаптер для локализованного управления движением при генерации видео из изображения.

0скачиваний за 30 дней2лайкавеса обновлены1 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CompVis/WhatMoves — набор чекпойнтов для модели WhatMoves, предназначенной для задания локализованных представлений движения и переноса движения между сценами. Репозиторий включает компактный чекпойнт motion encoder и адаптер с motion projector и LoRA-дельтами для Wan2.2 I2V-A14B.

Модель рассчитана на управление генерацией видео по изображению с помощью локальных описаний движения и на композиционный контроль сцены. Чекпойнты реализованы на PyTorch; для запуска нужны определения модели и точки входа Torch Hub из исходного репозитория — файлы не предназначены для загрузки через обычный конвейер Diffusers. Размер модели, длина контекста и поддерживаемые языки в карточке не описаны.

Артефакты имеют смешанные условия лицензирования: оригинальные параметры WhatMoves распространяются по MIT, параметры с инициализацией от DINOv2 связаны с Apache 2.0, а адаптер предназначен для Wan2.2 I2V-A14B, также использующей Apache 2.0. Базовые веса Wan в этом репозитории не включены; необходимо соблюдать лицензии и уведомления всех компонентов.

Сценарии применения

  • задание локальных движений объектов в видео по исходному изображению
  • перенос движения между сценами
  • композиционное управление движением в генерации видео
  • подключение motion adapter к Wan2.2 I2V-A14B

Ограничения

Для работы нужны определения модели и точки входа Torch Hub из исходного репозитория; чекпойнты не рассчитаны на прямую загрузку через стандартный Diffusers pipeline. Базовые веса Wan2.2 в репозитории отсутствуют, а лицензии компонентов различаются.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

WhatMoves checkpoints

Released checkpoints for WhatMoves, a promptable model for localized motion representations and transfer.

Paper: What Moves? Localized Motion Representations for Compositional Scene Control
Project page: https://compvis.github.io/WhatMoves

FileContents
what_moves/gated_static_step600000.ptCompact inference checkpoint for the WhatMoves motion encoder
wan/gated_static_step600000/adapter_step30500.ptMotion projector and LoRA deltas for Wan2.2 I2V-A14B
wan/gated_static_step600000/metadata.jsonArchitecture, provenance, and SHA-256 metadata

The source repository provides the model definitions and Torch Hub entrypoints; these files are not intended to be loaded with a generic Diffusers pipeline.

Licensing

This repository contains mixed-license model artifacts:

  • Original WhatMoves parameters are released under the MIT License.
  • The WhatMoves checkpoint incorporates parameters initialized from DINOv2, licensed under Apache License 2.0.
  • The motion-transfer adapter is designed to operate over Wan2.2 I2V-A14B, whose code and base weights are licensed under Apache License 2.0. The base Wan weights are not redistributed here.

The MIT license does not supersede the licenses or notices of the upstream components. See the source repository's LICENSE, THIRD_PARTY_NOTICES.md, and bundled Apache License 2.0 text for the complete notices.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
daacfbf

0 моделей