/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
sana
Опубликована
8 окт 2026

SANA-Video_2.0_5B_720p

Генерация видеоТекст → видео

Производная модели Efficient-Large-Model/SANA-Video_2.0_5B_720p. Диффузионный трансформер SANA-Video 2.0 генерирует короткие видео 720p из текстовых описаний, в том числе с исходным изображением.

0скачиваний за 30 дней0лайковвеса обновлены8 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели BlackWolf-Media/SANA-Video_2.0_5B_720p на Hugging Face совпадает с карточкой Efficient-Large-Model/SANA-Video_2.0_5B_720p, поэтому описание составлено по ней.

SANA-Video 2.0 5B 720p — модель Efficient Large Model Team для генерации коротких видео из текстовых описаний и изображений. Это диффузионный трансформер SanaVideo2_5B с 4,47 млрд параметров, 32 слоями и скрытым размером 2560. Для текстового управления используется Gemma 2 2B IT, а видеокодирование опирается на VAE-контракт LTX 2.3. Модель рассчитана на видео 720p продолжительностью около восьми секунд; пример из карточки — 193 кадра при 24 кадрах в секунду и разрешении 1280 × 736.

Модель поддерживает генерацию видео по тексту и по тексту с исходным изображением в качестве первого кадра. В архитектуре сочетаются двунаправленное линейное внимание с гейтами, периодические блоки плотного softmax-внимания и агрегация Attention Residual. Контрольная точка содержит объединённые веса; официальный сценарий инференса приводит трансформер к BF16. Для запуска в README указана поддержка в ветке main репозитория NVlabs/Sana.

Модель подходит для творческой генерации коротких видеороликов, прототипирования сцен и исследовательской оценки генерации видео. Движение, анатомия, текст в кадре, постоянство объектов и физические взаимодействия могут быть непоследовательными; следование длинным и сложным запросам ухудшается, а при генерации с изображением возможен уход от его деталей. Модель не проверяет фактичность и безопасность результата. Лицензия — Apache License 2.0.

Сценарии применения

  • создание короткого видеоролика по текстовому описанию
  • анимация сцены с заданным изображением первого кадра
  • прототипирование визуальных сцен для творческих проектов
  • оценка моделей генерации видео в исследовательских экспериментах

Ограничения

Движение, анатомия, текст в кадре, постоянство объектов и физические взаимодействия могут быть непоследовательными; сложные запросы и детали исходного изображения могут передаваться неточно. Модель не проверяет фактичность, безопасность или соблюдение прав на результат.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SANA-Video 2.0 5B 720p

SANA-Video 2.0 is an efficient diffusion transformer for high-resolution video generation. This release provides the 5B-class checkpoint jointly post-trained for text-to-video (T2V) and text-image-to-video (TI2V) generation at 720p for about eight seconds.

The model combines gated bidirectional linear-attention layers with periodic dense softmax-attention anchors and shared Attention Residual aggregation. It uses Gemma 2 2B IT for text conditioning and the LTX 2.3 VAE contract with 128 latent channels and (8, 32, 32) temporal/spatial compression.

Model details

PropertyValue
ArchitectureSanaVideo2_5B
Parameters4,466,980,960 trainable model parameters (4.47B)
Transformer32 layers, hidden size 2,560
Attention75% gated linear attention, 25% dense softmax anchors
Attention ResidualsShared, timestep-independent aggregation every 8 layers
TasksText-to-video and text-image-to-video
Output bucket736 × 1280, 193 frames, 24 FPS (about 8 seconds)
Text encodergoogle/gemma-2-2b-it
VAELTX 2.3, 128 latent channels, stride (8, 32, 32)
Recommended inferenceBF16, CFG 8, flow shift 12, 50 steps, motion score 20
LicenseApache 2.0

The checkpoint is an inference artifact containing only the merged model state_dict. It does not contain optimizer, scheduler, training-state, or standalone LoRA tensors. The EMA base weights and ReFL post-training adapter were merged before release. Stored tensors retain their merged source dtypes; the official inference entry point casts the transformer to BF16.

Files

  • checkpoints/SANA_Video_2.0_5B_720p.pth: merged transformer checkpoint
  • config.yaml: matching SANA training and inference configuration
  • LICENSE: Apache License 2.0

Verified release example

This sample was generated from the public checkpoint with seed 4. The encoded result is 1280 × 736, 193 frames, 24 FPS, and 8.04 seconds long.

Prompt: In a cozy, vintage room adorned with floral wallpaper, a cartoon rooster sits comfortably in a floral-patterned armchair, sipping from a bottle of beer. The rooster, with its vibrant red comb and wattle, displays a range of expressions—smiling, nodding, and opening its beak wide in a cheerful manner. The setting includes wooden furniture and another beer bottle on the table, adding to the relaxed atmosphere. The camera captures the rooster from a close-up angle, emphasizing its animated movements and lively demeanor.

Inference

Support for this checkpoint is included in the main branch of NVlabs/Sana:

git clone https://github.com/NVlabs/Sana.git
cd Sana
bash environment_setup.sh sana
conda activate sana

Place the Diffusers-format LTX 2.3 VAE at output/pretrained_models/LTX-2.3-Diffusers/, or update vae.vae_pretrained in config.yaml.

Text-to-video

The command below is the exact command used for the verified release example:

bash inference_video_scripts/inference_sana_video.sh \
  --np 1 \
  --config configs/sana_video2/SanaVideo2_5B_720p.yaml \
  --model_path hf://Efficient-Large-Model/SANA-Video_2.0_5B_720p/checkpoints/SANA_Video_2.0_5B_720p.pth \
  --txt_file=asset/samples/sana_video2_5b_720p_demo.txt \
  --cfg_scale 8 \
  --flow_shift 12 \
  --step 50 \
  --fps 24 \
  --motion_score 20 \
  --seed 4 \
  --work_dir output/sana_video2_t2v_720p_demo

Text-image-to-video

Each line in asset/samples/sample_i2v.txt contains a prompt and an input-image path separated by <image>.

bash inference_video_scripts/inference_sana_video.sh \
  --np 1 \
  --config configs/sana_video2/SanaVideo2_5B_720p.yaml \
  --model_path hf://Efficient-Large-Model/SANA-Video_2.0_5B_720p/checkpoints/SANA_Video_2.0_5B_720p.pth \
  --txt_file=asset/samples/sample_i2v.txt \
  --task=ltx \
  --cfg_scale 8 \
  --flow_shift 12 \
  --step 50 \
  --fps 24 \
  --motion_score 20 \
  --work_dir output/sana_video2_ti2v_720p

The default 720p bucket is 736 × 1280 because both spatial dimensions must be divisible by 32. Frame counts must satisfy (num_frames - 1) % 8 == 0.

Intended use

This model is intended for research, evaluation, and creative generation of short videos from text, with optional first-frame image conditioning. It can also serve as a starting point for domain-specific fine-tuning under the license terms.

The model is not intended to produce factual evidence, identify people, make high-impact automated decisions, or generate content that violates privacy, copyright, applicable law, or platform policies.

Limitations and bias

  • Generated motion, anatomy, text rendering, object permanence, and physical interactions may be inconsistent, especially for crowded or highly dynamic scenes.
  • Prompt following can degrade for long, ambiguous, or compositionally complex instructions.
  • Image-conditioned generation can drift from fine details in the source image.
  • Outputs can reflect social and cultural biases present in training data and in the separately loaded text encoder.
  • The model does not independently verify whether generated content is factual, safe, or free of third-party rights.

Users should review outputs before publication, disclose synthetic media where appropriate, and add safeguards suited to their application.

Resources

Citation

If you use SANA-Video, please cite the SANA-Video work linked from the project page. SANA-Video 2.0-specific citation information will be added when it becomes available.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sana

Нельзя запустить

Генеративная модель выложена не в формате diffusers.

Ревизия весов
e48c55b

0 моделей