/ Модель

Характеристики

Лицензия
MIT
Базовая модель
Kandinsky-6.0-VSR-5s-Diffusers
Библиотека
diffusers
Опубликована
15 сен 2026

Kandinsky-6.0-VSR-distilled2steps-5s-Diffusers

Мультимодальная модель

Пайплайн Kandinsky Lab для повышения разрешения видео в 2, 2,25 или 4 раза с помощью дистиллированной диффузионной модели.

536скачиваний за 30 дней17лайковвеса обновлены12 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kandinsky 6.0 VSR distilled2steps — пакет Diffusers от Kandinsky Lab для повышения разрешения видео. В него входят диффузионный трансформер для суперразрешения видео на 1,41 млрд параметров, видеовариационный автоэнкодер на 1,74 млрд параметров и набор латентных апскейлеров x2 и x4 на 3,65 млрд параметров. Модель использует дистилляцию π-Flow DX и выполняет два вычисления модели на тайл.

Пайплайн обрабатывает видео длительностью до 5 секунд, повышая разрешение в 2, 2,25 или 4 раза с помощью тайловой диффузии в латентном пространстве KVAE. Он предназначен для улучшения разрешения исходного видео; аудио модель не обрабатывает, поэтому для сохранения звука его нужно объединить с обработанным видео отдельно. Пакет распространяется в формате Diffusers с весами Safetensors по лицензии MIT.

Сценарии применения

  • увеличение разрешения коротких видеороликов
  • апскейл видео в 2 раза
  • апскейл видео в 2,25 раза
  • апскейл видео в 4 раза
  • восстановление деталей в видео для вывода в Full HD

Ограничения

Пайплайн рассчитан на видео длительностью до 5 секунд и не обрабатывает аудио; исходный звук при необходимости нужно вернуть отдельно. Обработка выполняется по тайлам и требует двух вычислений модели на каждый тайл.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

We present Kandinsky 6.0 Video, a family of foundation diffusion models for synchronized text-to-audio-video generation, comprising Kandinsky 6.0 Video Lite (3B parameters) and Kandinsky 6.0 Video Pro (29B parameters). Both models generate 5-second video clips with synchronized 44 kHz audio, including lip-sync, in text-to-audio-video (T2AV) and image-to-audio-video (TI2AV) modes; a plug-in super-resolution model raises the output resolution to Full-HD (1920×1080).

The complete Kandinsky 6.0 video super-resolution pipeline as a single 🧨 Diffusers bundle: the 1.4B SR DiT distilled with π-Flow DX down to 2 model evaluations per tile, the KVAE video VAE and the x2 / x4 latent-upscaler bank. It upscales a video by x2, x2.25 or x4 with tiled diffusion in KVAE latent space. The Diffusers pipeline is video-only; mux the source audio back in if you need it in the output.

This repository contains all components needed for inference with from_pretrained. For the flow-matching teacher with 4 Euler steps per tile, see the flow-matching Diffusers bundle.

Usage with Diffusers

import torch
from diffusers import Kandinsky6SRPipeline
from diffusers.utils import export_to_video, load_video

torch._inductor.config.max_autotune = True  # required: lets inductor pick flex-attention tiles that fit the SR block mask

pipe = Kandinsky6SRPipeline.from_pretrained("kandinskylab/Kandinsky-6.0-VSR-distilled2steps-5s-Diffusers", torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()
pipe.transformer.set_attention_backend("flex")
pipe.transformer.compile_repeated_blocks(fullgraph=True)

video = load_video("lq.mp4")  # -> list[PIL.Image.Image]
output = pipe(
    video=video,
    resolution_scale=2.25,  # 2, 2.25 or 4
    num_inference_steps=2,  # must be set explicitly -- the pipeline's own default (4) is for the flow-matching checkpoint
    generator=torch.Generator("cuda").manual_seed(1137),
)
export_to_video(output.frames[0], "lq_sr.mp4", fps=24)

Video Super Resolution Models

ComponentRepository
Diffusers bundle, π-Flow distilled (2 evaluations per tile) (this repository)Kandinsky-6.0-VSR-distilled2steps-5s-Diffusers
Diffusers bundle, flow matchingKandinsky-6.0-VSR-5s-Diffusers

Components

FolderClassParametersContents
transformer/Kandinsky6SRTransformer3DModel1.41Bπ-Flow DX distilled SR DiT (2 evaluations per tile)
vae/Kandinsky6SRVAE1.74BVideo VAE (included in this bundle)
latent_upscaler/Kandinsky6SRLatentUpscalerBank (x2 + x4)3.65Bx2 and x4 latent upscalers (included in this bundle)
scheduler/PiflowScheduler—π-Flow DX policy rollout: nfe = 2, shift = 3.5, 10 grid points, 128 policy substeps

model_index.json names the pipeline class Kandinsky6SRPipeline.

Citation

@misc{kandinsky2026kandinsky60videofoundation,
      title={Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation}, 
      author={Team Kandinsky and Julia Agafonova and Bulat Akhmatov and Mikhail Aksyutin and Grigorii Alekseenko and Anastasia Aliaskina and Olga Androsova and Vladimir Arkhipkin and Anna Averchenkova and Alexander Belykh and Serafima Bocharova and Sofiya Bogakovskaya and Anton Bukashkin and Mark Bulygin and Kirill Buzygin and Irina Cheremnykh and Kirill Chernyshev and Mikhail Chernyshov and Vladimir Chernyy and David Chikovani and Georgy Daniltsev and Denis Dimitrov and Anna Dmitrienko and Vladimir Dokholyan and Sergey Emelyanov and Dmitry Ermilov and Georgii Fedorov and Polina Gavrilova and Nikolai Gerasimenko and Aleksandr Gordeev and Andrey Inozemtsev and Andrei Ivaniuta and Alexander Ivanov and Mikhail Karaev and Anastasiia Kargapoltseva and Ivan Kirillov and Nikita Kiselev and Valeria Kobenko and Yury Kolabushin and Denis Koposov and Anatoly Korobov and Vladimir Korviakov and Kirill Kozlov and Denis Krzhivokolskiy and Konstantin Kuklev and Alexander Kunitsyn and Sergey Kuzin and Vladislav Lakhtionov and Alexey Letunovskiy and Maxim Litvinov and Alexander Lyulkov and Georgy Makarov and Kirill Malakhov and Egor Malykh and Mikhail Mamaev and Dmitrii Mikhailov and Polina Mikhailova and Ivan Mikheev and Elizaveta Muromtseva and Nikolai Nazarkin and Tatiana Nikulina and Lev Novitskiy and Stanislav Onuchin and Nikita Osterov and Denis Parkhomenko and Anatoliy Parpara and Vladimir Polovnikov and Konstantin Reznikov and Azat Saginbaev and Nikita Samsonov and Alexander Sentsov and Nikita Shaimov and Artem Sherstyuk and Andrey Shutkin and Egor Silvestrov and Bulat Suleimanov and Matvey Suprunov and Sergey Taranov and Irina Tolstykh and Tatiana Trofimuk and Ilya Trushkin and Aleksandra Tsybina and Olga Varlashina and Viacheslav Vasilev and Ilya Vasiliev and Eugeny Vilisov and Sergey Yakubson and Konstantin Zakharov},
      year={2026},
      eprint={2610.05608},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2610.05608}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Any-to-any модели пока не поддерживаются.

Ревизия весов
3d66729

0 моделей