/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
ti2v · dense
Базовая модель
Wan2.2-TI2V-5B
Опубликована
14 дек 2025

UniAVGen

Видео из изображенияИзображение, текст → видео3 профессии

UniAVGen — дообученная на Wan2.2-TI2V-5B модель для генерации видео по изображению и совместного создания согласованного аудиовизуального контента.

1 081скачиваний за 30 дней6лайковвеса обновлены14 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UniAVGen — контрольная точка модели для совместной генерации аудио и видео, разработанная MCG-NJU и Tencent Hunyuan. Она представлена в работе «UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions» и предназначена для создания согласованных аудиовизуальных материалов.

Модель основана на Wan2.2-TI2V-5B и дообучена для генерации видео по изображению. В карточке также заявлена единая генерация аудио и видео с акцентом на синхронизацию движений губ, смысловую согласованность и обобщение на разные задачи. Файлы представлены в формате safetensors; лицензия — Apache-2.0.

Описание не уточняет способ подачи аудио, поддерживаемые языки, длительность или разрешение генерируемых материалов и системные требования. В метаданных основная задача указана как image-to-video, поэтому поддержка совместной генерации аудио-видео здесь следует из карточки проекта, но не отражена отдельным pipeline-тегом.

Сценарии применения

  • создание видео на основе исходного изображения
  • генерация согласованных аудио и видео
  • создание видео с синхронизированными движениями губ

Ограничения

Карточка не раскрывает поддерживаемые языки, параметры генерации и требования к оборудованию. Совместная генерация аудио и видео описана в README, но единственный pipeline-тег в метаданных — image-to-video.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This repository is the checkpoint of paper "UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions". UniAVGen is a unified framework for high-fidelity joint audio-video generation, addressing key limitations of existing methods such as poor lip synchronization, insufficient semantic consistency, and limited task generalization.

Citation

If you think this project is helpful in your research or for application, please feel free to leave a star⭐️ and cite our paper:

@misc{zhang2025uniavgenunifiedaudiovideo,
      title={UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions}, 
      author={Guozhen Zhang and Zixiang Zhou and Teng Hu and Ziqiao Peng and Youliang Zhang and Yi Chen and Yuan Zhou and Qinglin Lu and Limin Wang},
      year={2025},
      eprint={2511.03334},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2511.03334}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
53c0561

0 моделей