/ Модель

Характеристики

Контекст
131 072 токена
Архитектура
omnivoice · dense
Библиотека
omnivoice
Опубликована
30 мар 2026

OmniVoice-Emilia

Синтез речиТекст → аудио3 профессии

Экспериментальный чекпойнт OmniVoice для синтеза речи и клонирования голоса, обученный на китайской и английской частях Emilia.

28скачиваний за 30 дней5лайковвеса обновлены5 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OmniVoice-Emilia — вариант модели OmniVoice от k2-fsa, обученный исключительно на китайской и английской частях набора данных Emilia. Это плотная модель архитектуры OmniVoice для синтеза речи по тексту; в метаданных указаны мультиязычная поддержка, zero-shot и клонирование голоса. Чекпойнт предназначен прежде всего для воспроизведения экспериментальных результатов, описанных в статье.

При использовании следует отключить очистку шума в промпте (`denoise = False`) и не задавать идентификатор языка (`lang_id = None`), поскольку модель обучалась без этих условий. Авторы рекомендуют обычным пользователям полнообученный на всём наборе данных вариант OmniVoice для более высокого качества. Лицензия и размер модели в предоставленных данных не указаны.

Сценарии применения

  • синтез английской речи по тексту
  • синтез китайской речи по тексту
  • zero-shot клонирование голоса
  • воспроизведение экспериментов по синтезу речи из статьи

Ограничения

Модель обучена только на китайской и английской частях Emilia и не использует prompt denoising или conditioning по идентификатору языка. Авторы рекомендуют для обычного применения полнообученный на всём датасете OmniVoice.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OmniVoice 🌍

This OmniVoice variant was trained exclusively on the Chinese and English subsets of the Emilia dataset and corresponds to the "OmniVoice-Emilia" model described in our paper. It is intended for researchers aiming to reproduce the experimental results reported therein. For regular end users seeking superior performance, we recommend using the full-dataset-trained OmniVoice checkpoint OmniVoice instead.

When using this checkpoint, set denoise = False and lang_id = None: the model was trained without prompt denoising or language-ID conditioning.

Citation

@article{zhu2026omnivoice,
      title={OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models},
      author={Zhu, Han and Ye, Lingxuan and Kang, Wei and Yao, Zengwei and Guo, Liyong and Kuang, Fangjun and Han, Zhifeng and Zhuang, Weiji and Lin, Long and Povey, Daniel},
      journal={arXiv preprint arXiv:2604.00688},
      year={2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · omnivoice

Нельзя запустить

Архитектура omnivoice неизвестна transformers в образе рантайма.

Класс архитектуры
OmniVoice
Ревизия весов
c382a64

0 моделей