/ Модель

Характеристики

Размер весов
13,6 ГБ
Лицензия
Apache 2.0
Библиотека
seedvr
Опубликована
10 июн 2025

SeedVR2-3B

Языковая модельВидео, текст → видео3 профессии

SeedVR2-3B — одношаговая диффузионная модель ByteDance Seed для восстановления и улучшения качества видео.

18 670скачиваний за 30 дней141лайквеса обновлены22 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SeedVR2-3B — модель ByteDance Seed для восстановления видео, описанная в работе Jianyi Wang и соавторов. Она использует диффузионный подход с состязательным постобучением и выполняет восстановление за один шаг, чтобы снизить вычислительные затраты при обработке видео. В архитектуре применяется адаптивное оконное внимание, подстраиваемое под разрешение результата; модель рассчитана на улучшение визуального качества и временной согласованности, в том числе для видео высокого разрешения.

Модель предназначена для восстановления и улучшения качества видео в сценариях, где важна быстрая обработка. Авторы сообщают о результатах, сопоставимых с существующими методами восстановления видео или превосходящих их при одношаговом выводе. Доступны веса в формате PyTorch, лицензия — Apache 2.0.

Это прототипные модели, и их качество может отличаться от результатов статьи. Модель может работать нестабильно при сильных искажениях и больших движениях, оставлять дефекты или создавать нежелательные детали; на видео с лёгкими искажениями возможна чрезмерная резкость.

Сценарии применения

  • восстановление видео с визуальными искажениями
  • улучшение качества видео высокого разрешения
  • быстрая одношаговая реставрация видеоматериалов
  • улучшение деталей и визуальной чёткости видео

Ограничения

Это прототипная модель; возможны сбои при сильных искажениях и больших движениях, неполное удаление дефектов и нежелательные детали. На видео с лёгкими искажениями модель может чрезмерно усиливать резкость.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training

Jianyi Wang, Shanchuan Lin, Zhijie Lin, Yuxi Ren, Meng Wei, Zongsheng Yue, Shangchen Zhou, Hao Chen, Yang Zhao, Ceyuan Yang, Xuefeng Xiao, Chen Change Loy, Lu Jiang

Recent advances in diffusion-based video restoration (VR) demonstrate significant improvement in visual quality, yet yield a prohibitive computational cost during inference. While several distillation-based approaches have exhibited the potential of one-step image restoration, extending existing approaches to VR remains challenging and underexplored, due to the limited generation ability and poor temporal consistency, particularly when dealing with high-resolution video in real-world settings. In this work, we propose a one-step diffusion-based VR model, termed as SeedVR2, which performs adversarial VR training against real data. To handle the challenging high-resolution VR within a single step, we introduce several enhancements to both model architecture and training procedures. Specifically, an adaptive window attention mechanism is proposed, where the window size is dynamically adjusted to fit the output resolutions, avoiding window inconsistency observed under high-resolution VR using window attention with a predefined window size. To stabilize and improve the adversarial post-training towards VR, we further verify the effectiveness of a series of losses, including a proposed feature matching loss without significantly sacrificing training efficiency. Extensive experiments show that SeedVR2 can achieve comparable or even better performance compared with existing VR approaches in a single step.

📮 Notice

Limitations: These are the prototype models and the performance may not be perfectly align with the paper. Our methods are sometimes not robust to heavy degradations and very large motions, and shares some failure cases with existing methods, e.g., fail to fully remove the degradation or simply generate unpleasing details. Moreover, due to the strong generation ability, Our methods tend to overly generate details on inputs with very light degradations, e.g., 720p AIGC videos, leading to oversharpened results occasionally.

✍️ Citation

@article{wang2025seedvr2,
      title={SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training},
      author={Wang, Jianyi and Lin, Shanchuan and Lin, Zhijie and Ren, Yuxi and Wei, Meng and Yue, Zongsheng and Zhou, Shangchen and Chen, Hao and Zhao, Yang and Yang, Ceyuan and Xiao, Xuefeng and Loy, Chen Change and Jiang, Lu},
      booktitle={arXiv preprint arXiv:2506.05301},
      year={2025}
   }

@inproceedings{wang2025seedvr,
      title={SeedVR: Seeding Infinity in Diffusion Transformer Towards Generic Video Restoration},
      author={Wang, Jianyi and Lin, Zhijie and Wei, Meng and Zhao, Yang and Yang, Ceyuan and Loy, Chen Change and Jiang, Lu},
      booktitle={CVPR},
      year={2025}
   }

📜 License

SeedVR and SeedVR2 are licensed under the Apache 2.0.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · seedvr

Нельзя запустить

Модели «видео → видео» пока не запускаются.

Ревизия весов
37255ff

0 моделей