/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
diffusers
Опубликована
28 янв 2026

MOVA-720p

Мультимодальная модель4 профессии

MOVA — открытая модель OpenMOSS для генерации видео с синхронизированным звуком по тексту или изображению и тексту.

416скачиваний за 30 дней132лайкавеса обновлены11 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MOVA — открытая мультимодальная модель команды OpenMOSS для совместной генерации видео и синхронизированного с ним звука. Она предназначена для создания видео по изображению и текстовому описанию, а также по одному текстовому описанию. Модель генерирует аудио и видео за один проход, поддерживает синхронизацию речи с движением губ и создание звуков окружения.

Архитектура MOVA состоит из двух асимметричных башен для видео и аудио, объединённых двунаправленным cross-attention, и использует Mixture-of-Experts. В README указано 32 млрд параметров суммарно, из них 18 млрд активны при инференсе. Репозиторий содержит веса в формате safetensors для Diffusers. Лицензия — Apache-2.0. Для запуска и использования весов авторы направляют к инструкциям на GitHub; модель также предусматривает LoRA-дообучение.

Заявлены многоязычная синхронизация губ и генерация звуков с учётом окружения. В README нет конкретных языковых кодов, сведений о длине контекста или детальных требований к аппаратному обеспечению; генерация видео и аудио может требовать значительных вычислительных ресурсов.

Сценарии применения

  • генерация видео со звуком по текстовому описанию
  • создание видео с аудио по исходному изображению
  • генерация синхронизированной с видео речи
  • создание звуковых эффектов для сгенерированной сцены

Ограничения

Для работы, вероятно, нужны значительные вычислительные ресурсы из-за масштаба модели; точные требования в README не приведены. Заявления о качестве и синхронизации основаны на карточке модели, а конкретные результаты и поддерживаемые языки в предоставленных данных не детализированы.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MOVA: Towards Scalable and Synchronized Video–Audio Generation

We introduce MOVA (MOSS Video and Audio), a foundation model designed to break the "silent era" of open-source video generation. Unlike cascaded pipelines that generate sound as an afterthought, MOVA synthesizes video and audio simultaneously for perfect alignment.

🌟Key Highlights

  • Native Bimodal Generation: Moves beyond clunky cascaded pipelines. MOVA generates high-fidelity video and synchronized audio in a single inference pass, eliminating error accumulation.
  • Precise Lip-Sync & Sound FX: Achieves state-of-the-art performance in multilingual lip-synchronization and environment-aware sound effects.
  • Fully Open-Source: In a field dominated by closed-source models (Sora 2, Veo 3, Kling), we are releasing model weights, inference code, training pipelines, and LoRA fine-tuning scripts.
  • Asymmetric Dual-Tower Architecture: Leverages the power of pre-trained video and audio towers, fused via a bidirectional cross-attention mechanism for rich modality interaction.

Demo

Model Details

Model Description

MOVA addresses the limitations of proprietary systems like Sora 2 and Veo 3 by offering a fully open-source framework for Image-to-Video-Audio (IT2VA) and Text-to-Video-Audio (T2VA) tasks. The model employs an asymmetric dual-tower architecture fused via a bidirectional cross-attention mechanism, leveraging a Mixture-of-Experts (MoE) design with 32B total parameters (18B active during inference) to ensure high-quality synthesis with efficient deployment. Alongside the model weights, we provide a fine-grained bimodal data pipeline and support for LoRA fine-tuning, empowering the community to advance research in synchronized cinematic synthesis.

Model Sources

Model Usage

Please refer to the Quick Start section on the GitHub page for model usage and inference scripts.

Evaluation

We evaluate our model through both objective benchmarks and subjective human evaluations. Below are the Elo scores and win rates comparing MOVA to existing open-source models.

Citation

@article{yu2026mova,
  title={MOVA: Towards Scalable and Synchronized Video-Audio Generation},
  author={Yu, Donghua and Chen, Mingshu and Chen, Qi and Luo, Qi and Wu, Qianyi and Cheng, Qinyuan and Li, Ruixiao and Liang, Tianyi and Zhang, Wenbo and Tu, Wenming and others},
  journal={arXiv preprint arXiv:2602.08794},
  year={2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Any-to-any модели пока не поддерживаются.

Ревизия весов
8462bea

0 моделей