Характеристики

Лицензия: Apache 2.0
Архитектура: hifigan · dense
Библиотека: transformers
Опубликована: 6 июн 2023

Ссылки

Hugging Face arXiv 2010.13956

fastspeech2_conformer_hifigan

Обработка аудиоАудио → аудио3 профессии

HiFi-GAN-вокодер ESPnet преобразует акустические представления FastSpeech2Conformer в аудио для синтеза речи и преобразования голоса.

139скачиваний за 30 дней3лайкавеса обновлены18 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

espnet/fastspeech2_conformer_hifigan — вокодер HiFi-GAN для моделей синтеза речи и преобразования голоса FastSpeech2Conformer, опубликованный в репозитории ESPnet. Он преобразует акустические представления, полученные соответствующей моделью, в аудиосигнал и используется как компонент речевого конвейера, а не как самостоятельный генератор речи из текста. Архитектура указана как FastSpeech2ConformerHifiGan; репозиторий содержит веса PyTorch. Модель предназначена для синтеза речи и voice conversion в связке с FastSpeech2Conformer. README указывает лицензию Apache 2.0.

Сценарии применения

генерация аудиоречи из акустических представлений FastSpeech2Conformer
восстановление аудиосигнала в конвейере синтеза речи
преобразование голоса в связке с моделями FastSpeech2Conformer

Ограничения

Вокодер предназначен для использования с моделями FastSpeech2Conformer и не описан как самостоятельная система преобразования текста в речь. В README не приведены измерения качества или дополнительные сведения о совместимых акустических представлениях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FastSpeech2Conformer HiFi-GAN Vocoder

This is the HiFi-GAN vocoder for use with the FastSpeech2Conformer text-to-speech and voice conversion models.

The FastSpeech2Conformer model was proposed with the paper Recent Developments On Espnet Toolkit Boosted By Conformer by Pengcheng Guo, Florian Boyer, Xuankai Chang, Tomoki Hayashi, Yosuke Higuchi, Hirofumi Inaguma, Naoyuki Kamo, Chenda Li, Daniel Garcia-Romero, Jiatong Shi, Jing Shi, Shinji Watanabe, Kun Wei, Wangyou Zhang, and Yuekai Zhang. It was first released in this repository. The license used is Apache 2.0.

Disclaimer: The team releasing FastSpeech2Conformer did not write a model card for this model, so this was written by a Hugging Face contributor.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Класс архитектуры: FastSpeech2ConformerHifiGan
Ревизия весов: 70d3712