/ Модель

Характеристики

Лицензия
MIT
Архитектура
hifigan · dense
Опубликована
2 фев 2023

speecht5_hifigan

Синтез речи3 профессии

Вокодер HiFi-GAN для преобразования акустических представлений SpeechT5 в аудио при синтезе речи и конвертации голоса.

48 577скачиваний за 30 дней25лайковвеса обновлены2 фев 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SpeechT5 HiFi-GAN Vocoder — вокодер HiFi-GAN от Microsoft для использования с моделями SpeechT5 при синтезе речи и преобразовании голоса. Он преобразует акустические представления речи в аудио; сам по себе не предназначен для генерации текста или автономного преобразования текста в речь. Репозиторий содержит оригинальные веса в формате PyTorch и распространяется по лицензии MIT.

Модель относится к архитектуре HiFi-GAN и рассчитана на работу в связке с SpeechT5. Карточка не приводит сведения о размере модели, языках или ограничениях качества; вокодер следует применять в совместимом конвейере SpeechT5.

Сценарии применения

  • синтез аудио из представлений речи SpeechT5
  • озвучивание текста в связке с моделью SpeechT5
  • преобразование голоса в конвейере SpeechT5

Ограничения

Предназначена для использования с совместимыми моделями SpeechT5 и не является самостоятельной системой синтеза речи. В карточке не описаны поддерживаемые языки и характеристики качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SpeechT5 HiFi-GAN Vocoder

This is the HiFi-GAN vocoder for use with the SpeechT5 text-to-speech and voice conversion models.

SpeechT5 was first released in this repository, original weights. The license used is MIT.

Disclaimer: The team releasing SpeechT5 did not write a model card for this model so this model card has been written by the Hugging Face team.

Citation

BibTeX:

@inproceedings{ao-etal-2022-speecht5,
    title = {{S}peech{T}5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing},
    author = {Ao, Junyi and Wang, Rui and Zhou, Long and Wang, Chengyi and Ren, Shuo and Wu, Yu and Liu, Shujie and Ko, Tom and Li, Qing and Zhang, Yu and Wei, Zhihua and Qian, Yao and Li, Jinyu and Wei, Furu},
    booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},
    month = {May},
    year = {2022},
    pages={5723--5738},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
SpeechT5HifiGan
Ревизия весов
bb6f429

0 моделей