/ Модель

Характеристики

Лицензия
Своя лицензия
Архитектура
vggt-diff · dense
Базовая модель
Wan2.1-I2V-14B-480P
Библиотека
vggtdiff
Опубликована
4 окт 2026

VGGT-Diff-Trajectory-480x832

Видео из изображенияИзображение, текст → видео

Чекпойнт на базе Wan2.1 для генерации 80-кадрового видео новых ракурсов по шести исходным изображениям и пути камеры.

78скачиваний за 30 дней1лайквеса обновлены4 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VGGT-Diff Trajectory 480x832 — чекпойнт для генерации видео с непрерывным движением камеры и синтеза новых ракурсов. Модель дообучена на базе Wan-AI/Wan2.1-I2V-14B-480P; в README указано обучение всей модели на отобранных последовательных данных DL3DV. Разработчик в предоставленных материалах не назван.

Модель принимает шесть изображений исходных ракурсов с известными позами и упорядоченный путь целевой камеры, а выдаёт 80-кадровое видео с разрешением 480×832. Для режима без заданных поз сначала оцениваются камеры источников с помощью VGGT-Omega. Геометрические признаки VGGT-Omega заморожены, а камера задаётся с временной упаковкой; веса VGGT-Omega и базовой Wan2.1 являются отдельными зависимостями и не входят в репозиторий.

Модель предназначена для синтеза новых ракурсов по нескольким изображениям и управляемой генерации видео по траектории камеры. В метаданных указана лицензия other; конкретные условия лицензии в предоставленной карточке не раскрыты.

Сценарии применения

  • создание видео с движением камеры по заданной траектории
  • синтез новых ракурсов сцены по шести изображениям
  • генерация видео при известных позах исходных камер
  • генерация видео по изображениям с предварительной оценкой поз камер

Ограничения

Для режима без поз нужны отдельные веса VGGT-Omega; базовые файлы Wan2.1 также поставляются отдельно. Разрешение и длина генерируемого ролика заданы как 480×832 и 80 кадров.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VGGT-Diff Trajectory 480x832 (36K)

This checkpoint generates an 80-frame continuous camera trajectory from six posed source views. It also supports pose-free inference by first estimating the six source cameras with VGGT-Omega.

Configuration

  • Resolution: 480 x 832
  • Task: continuous camera-trajectory video generation
  • Input: six posed source views and an ordered target camera path
  • Output: an 80-frame novel-view video
  • VAE: sources are encoded independently; target video uses causal 4:1 temporal compression
  • Geometry: frozen VGGT-Omega features with temporally packed camera conditioning
  • Training: full-model trajectory fine-tuning on curated sequential DL3DV data

Pose-free usage

python scripts/infer_pose_free.py \
  --checkpoint /path/to/vggt-diff.safetensors \
  --omega-checkpoint /path/to/vggt_omega_1b_512.pt \
  --source-dir /path/to/six_rgb_images \
  --output outputs/pose_free

VGGT-Omega weights and Wan2.1 base-model files are separate dependencies and are not redistributed in this repository.

Links

License

Released under the non-commercial VGGT-Diff Research License. Third-party models and datasets remain subject to their own terms.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · vggtdiff

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
6ec2040

0 моделей