Характеристики

Лицензия: Apache 2.0
Базовая модель: Wan2.1-Fun-V1.1-1.3B-Control
Библиотека: diffusers
Опубликована: 30 мар 2026

Ссылки

Hugging Face

Wan2.1-Fun-V1.1-1.3B-Control-Diffusers

the-sweater-cat

Видео из изображенияИзображение, текст → видео

Конверсия модели Wan2.1-Fun для генерации видео по тексту и управляющим сигналам, таким как глубина, контуры и позы.

196скачиваний за 30 дней0лайковвеса обновлены30 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Wan2.1-Fun-V1.1-1.3B-Control-Diffusers — конвертированная в формат Diffusers версия модели VideoX-Fun для генерации видео с управлением по сигналам, включая карты глубины, контуры Canny и позы. В репозиторий включены трансформер WanTransformer3DModel, VAE, текстовый и графический энкодеры, токенизатор и scheduler; указанный в README размер исходной модели — 1,56 млрд параметров. Для работы с 48-канальным входом требуется пользовательский код инференса.

Модель предназначена для генерации видео по текстовому запросу и управляющим визуальным сигналам, а также для преобразования изображения в видео. Репозиторий опубликован по лицензии Apache-2.0. Это конверсия базовой модели alibaba-pai/Wan2.1-Fun-V1.1-1.3B-Control в Diffusers с файлами safetensors.

При конверсии исключены параметры ref_conv, отвечающие за внедрение токенов референсного кадра, поэтому этот механизм недоступен. README также отмечает возможное отличие включённого CLIP image encoder от OpenCLIP, использованного в исходной модели.

Сценарии применения

генерация видео по текстовому описанию и карте глубины
создание видео с управлением по контурам Canny
генерация видео по позам
преобразование исходного изображения в видео с управляющим сигналом

Ограничения

Для 48-канального входа нужен пользовательский код инференса, поскольку официального WanFunControlPipeline в Diffusers нет. При конверсии исключён механизм внедрения токенов референсного кадра; включённый CLIP image encoder может отличаться от энкодера исходной модели.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Wan2.1-Fun-V1.1-1.3B-Control (Diffusers format)

Converted alibaba-pai/Wan2.1-Fun-V1.1-1.3B-Control to a self-contained HuggingFace Diffusers repo. Includes all components needed for inference: transformer, VAE, text encoder, image encoder, tokenizer, and scheduler.

Quick start

import torch
from diffusers import WanTransformer3DModel, AutoencoderKLWan

# Load the transformer
transformer = WanTransformer3DModel.from_pretrained(
    "the-sweater-cat/Wan2.1-Fun-V1.1-1.3B-Control-Diffusers",
    subfolder="transformer",
    torch_dtype=torch.bfloat16,
)

# Load the VAE
vae = AutoencoderKLWan.from_pretrained(
    "the-sweater-cat/Wan2.1-Fun-V1.1-1.3B-Control-Diffusers",
    subfolder="vae",
    torch_dtype=torch.float32,
)

What is this model?

Wan2.1-Fun-V1.1-1.3B-Control is a 1.56B parameter video generation model from VideoX-Fun that supports control-signal-guided generation (depth, canny, pose, etc.). The control signal is concatenated with noise and image latents along the channel dimension (in_channels=48 = 16 noise + 16 image + 16 control).

Included components

Component	Class	Size
Transformer	`WanTransformer3DModel`	3.0 GB
Text encoder	`UMT5EncoderModel`	22 GB
Image encoder	`CLIPVisionModel`	1.2 GB
VAE	`AutoencoderKLWan`	485 MB
Tokenizer	`AutoTokenizer` (google/umt5-xxl)	21 MB
Scheduler	`UniPCMultistepScheduler`	config only

Shared components (VAE, text encoder, image encoder, tokenizer, scheduler) are from Wan-AI/Wan2.1-T2V-1.3B-Diffusers and Wan-AI/Wan2.1-I2V-14B-480P-Diffusers.

Conversion details

Transformer weights converted from VideoX-Fun format to diffusers WanTransformer3DModel using key remapping (983/985 tensors).
2 tensors dropped: ref_conv.weight and ref_conv.bias (99,840 params) -- these implement reference-frame token injection which diffusers' WanTransformer3DModel does not support. The model still works for control-to-video tasks.
Forward-pass verified against the original VideoX-Fun model: max absolute difference 1.7e-6 in fp32 (numerical noise from different attention backends).

Limitations

ref_conv dropped: no reference-frame token injection (the model can still do depth/canny/pose control)
No official WanFunControlPipeline in diffusers yet (huggingface/diffusers#12235) -- custom inference code is needed to handle the 48-channel input (concatenating noise + image + control latents)
CLIP image encoder: the original model uses OpenCLIP (xlm-roberta-large-vit-huge-14), which may differ from HuggingFace's CLIPVisionModel included here

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов: 05f1f59