/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
14 июл 2026

trackwan-1.3b-bidir-merged-bias

Видео из изображенияИзображение, текст → видео3 профессии

Исследовательская модель на базе Wan2.1-Fun-1.3B-InP генерирует видео из изображения, управляя движением по траекториям точек.

7скачиваний за 30 дней0лайковвеса обновлены14 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TrackWan 1.3B — исследовательский чекпойнт для генерации видео из изображения с управлением движением по траекториям точек. Модель дообучена на базе Wan2.1-Fun-1.3B-InP; обученный компонент — WanTransformer3DModel с дополнительной головой track-conditioning. Текстовый энкодер и VAE используются от базовой модели.

Модель принимает исходное изображение и покадровые траектории точек с данными об их видимости, чтобы создавать видео с заданным движением объектов или областей сцены. Это двунаправленный вариант обучения merged_bias, чекпойнт 4800. Веса трансформера представлены в bf16 в формате safetensors; для запуска требуется специализированная архитектура WanTrack в форке FastVideo и компоненты Wan2.1-Fun-1.3B-InP. Лицензия — Apache-2.0.

Сценарии применения

  • генерация видео из исходного изображения с заданными траекториями движения
  • управление перемещением объектов в видео с помощью покадровых точек
  • анимация изображения с контролем видимости отслеживаемых точек

Ограничения

Для работы нужна специализированная архитектура WanTrack из форка FastVideo и текстовый энкодер с VAE базовой модели; обычный пайплайн Diffusers не подходит. Это исследовательский чекпойнт, а точный формат входных данных для управления траекториями описан в проекте FastVideo.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TrackWan 1.3B — bidirectional I2V + point-track (merged-bias, ckpt-4800)

A track-conditioned finetune of Wan2.1-Fun-1.3B (InP) for image-to-video generation with MotionStream-style point-track motion control. This is the merged_bias bidirectional training run, checkpoint 4800.

  • Base model: Wan-AI/Wan2.1-Fun-1.3B-InP (Apache-2.0)
  • What's trained here: the WanTransformer3DModel with the added track-conditioning head (transformer/model.safetensors, ~2.9 GB). Text encoder / VAE are the standard Wan components.
  • Type: research checkpoint.

⚠️ Requires FastVideo (custom architecture)

This is not a vanilla diffusers pipeline — the track-conditioning is a custom WanTrack architecture. Load it with the FastVideo fork that produced it, e.g.:

# in the FastVideo repo, using the trackwan inference helper
import data_pipeline.trackwan_infer as twi
model, cfg = twi.load_trackwan("<this repo checked out>", "<train yaml>")

Pair it with the base Wan2.1-Fun-1.3B-InP text encoder + VAE. See the FastVideo project for the exact config/YAML and track-conditioning input format (per-frame point tracks + visibility).

Files

  • model.safetensors — trained transformer weights (bf16).
  • config.json — transformer architecture config.

License

Apache-2.0, inherited from the Wan base model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
3f9f49b

0 моделей