/ Модель

Характеристики

Лицензия
MIT
Библиотека
diffusers
Опубликована
21 сен 2026

Kandinsky-6.0-VSR-5s-Diffusers

Мультимодальная модель

Kandinsky 6.0 VSR — Diffusers-пайплайн для увеличения разрешения видео с помощью диффузионной обработки тайлов в латентном пространстве.

326скачиваний за 30 дней14лайковвеса обновлены12 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kandinsky 6.0 VSR — набор компонентов для повышения разрешения видео, опубликованный командой Kandinsky Lab. Это полный Diffusers-комплект для инференса: flow-matching SR DiT на 1,41 млрд параметров, видео-VAE и банк латентных апскейлеров x2 и x4. Пайплайн разбивает видео на тайлы и обрабатывает их в латентном пространстве KVAE; доступны масштабы x2, x2,25 и x4. В README для семейства Kandinsky 6.0 также описаны модели генерации аудио и видео, но данный репозиторий содержит именно видеопайплайн суперразрешения.

Модель предназначена для увеличения разрешения видео; заявленная цель семейства — вывод Full HD. Пайплайн не обрабатывает аудио: при необходимости исходную звуковую дорожку нужно добавить обратно отдельно. Репозиторий распространяется под лицензией MIT.

Сценарии применения

  • увеличение разрешения видео в 2, 2,25 или 4 раза
  • апскейлинг коротких видеоклипов
  • подготовка видео к выводу в Full HD

Ограничения

Пайплайн работает только с видео и не переносит исходную звуковую дорожку в результат; аудио нужно добавить отдельно. Обработка выполняется тайлами, по четыре шага Эйлера на тайл.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

We present Kandinsky 6.0 Video, a family of foundation diffusion models for synchronized text-to-audio-video generation, comprising Kandinsky 6.0 Video Lite (3B parameters) and Kandinsky 6.0 Video Pro (29B parameters). Both models generate 5-second video clips with synchronized 44 kHz audio, including lip-sync, in text-to-audio-video (T2AV) and image-to-audio-video (TI2AV) modes; a plug-in super-resolution model raises the output resolution to Full-HD (1920×1080).

The complete Kandinsky 6.0 video super-resolution pipeline as a single 🧨 Diffusers bundle: the 1.4B flow-matching SR DiT (4 Euler steps per tile), the KVAE video VAE and the x2 / x4 latent-upscaler bank. It upscales a video by x2, x2.25 or x4 with tiled diffusion in KVAE latent space. The Diffusers pipeline is video-only; mux the source audio back in if you need it in the output.

This repository contains all components needed for inference with from_pretrained. For the π-Flow distilled model with 2 model evaluations per tile, see the distilled Diffusers bundle.

Usage with Diffusers

import torch
from diffusers import Kandinsky6SRPipeline
from diffusers.utils import export_to_video, load_video

torch._inductor.config.max_autotune = True  # required: lets inductor pick flex-attention tiles that fit the SR block mask

pipe = Kandinsky6SRPipeline.from_pretrained("kandinskylab/Kandinsky-6.0-VSR-5s-Diffusers", torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()
pipe.transformer.set_attention_backend("flex")
pipe.transformer.compile_repeated_blocks(fullgraph=True)

video = load_video("lq.mp4")  # -> list[PIL.Image.Image]
output = pipe(
    video=video,
    resolution_scale=2.25,  # 2, 2.25 or 4
    num_inference_steps=4,  # 4 Euler steps, the default
    generator=torch.Generator("cuda").manual_seed(1137),
)
export_to_video(output.frames[0], "lq_sr.mp4", fps=24)

Video Super Resolution Models

ComponentRepository
Diffusers bundle, π-Flow distilled (2 evaluations per tile)Kandinsky-6.0-VSR-distilled2steps-5s-Diffusers
Diffusers bundle, flow matching (this repository)Kandinsky-6.0-VSR-5s-Diffusers

Components

FolderClassParametersContents
transformer/Kandinsky6SRTransformer3DModel1.41BFlow-matching SR DiT (4 Euler steps per tile)
vae/Kandinsky6SRVAE1.74BVideo VAE (included in this bundle)
latent_upscaler/Kandinsky6SRLatentUpscalerBank (x2 + x4)3.65Bx2 and x4 latent upscalers (included in this bundle)
scheduler/FlowMatchEulerDiscreteScheduler—stock Diffusers scheduler, shift = 5.0

model_index.json names the pipeline class Kandinsky6SRPipeline.

Citation

@misc{kandinsky2026kandinsky60videofoundation,
      title={Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation}, 
      author={Team Kandinsky and Julia Agafonova and Bulat Akhmatov and Mikhail Aksyutin and Grigorii Alekseenko and Anastasia Aliaskina and Olga Androsova and Vladimir Arkhipkin and Anna Averchenkova and Alexander Belykh and Serafima Bocharova and Sofiya Bogakovskaya and Anton Bukashkin and Mark Bulygin and Kirill Buzygin and Irina Cheremnykh and Kirill Chernyshev and Mikhail Chernyshov and Vladimir Chernyy and David Chikovani and Georgy Daniltsev and Denis Dimitrov and Anna Dmitrienko and Vladimir Dokholyan and Sergey Emelyanov and Dmitry Ermilov and Georgii Fedorov and Polina Gavrilova and Nikolai Gerasimenko and Aleksandr Gordeev and Andrey Inozemtsev and Andrei Ivaniuta and Alexander Ivanov and Mikhail Karaev and Anastasiia Kargapoltseva and Ivan Kirillov and Nikita Kiselev and Valeria Kobenko and Yury Kolabushin and Denis Koposov and Anatoly Korobov and Vladimir Korviakov and Kirill Kozlov and Denis Krzhivokolskiy and Konstantin Kuklev and Alexander Kunitsyn and Sergey Kuzin and Vladislav Lakhtionov and Alexey Letunovskiy and Maxim Litvinov and Alexander Lyulkov and Georgy Makarov and Kirill Malakhov and Egor Malykh and Mikhail Mamaev and Dmitrii Mikhailov and Polina Mikhailova and Ivan Mikheev and Elizaveta Muromtseva and Nikolai Nazarkin and Tatiana Nikulina and Lev Novitskiy and Stanislav Onuchin and Nikita Osterov and Denis Parkhomenko and Anatoliy Parpara and Vladimir Polovnikov and Konstantin Reznikov and Azat Saginbaev and Nikita Samsonov and Alexander Sentsov and Nikita Shaimov and Artem Sherstyuk and Andrey Shutkin and Egor Silvestrov and Bulat Suleimanov and Matvey Suprunov and Sergey Taranov and Irina Tolstykh and Tatiana Trofimuk and Ilya Trushkin and Aleksandra Tsybina and Olga Varlashina and Viacheslav Vasilev and Ilya Vasiliev and Eugeny Vilisov and Sergey Yakubson and Konstantin Zakharov},
      year={2026},
      eprint={2610.05608},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2610.05608}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Any-to-any модели пока не поддерживаются.

Ревизия весов
f690411

0 моделей