Англоязычный вокодер HiFi-GAN, обученный на LJSpeech и предназначенный для синтеза речи из речевых признаков.
72скачиваний за 30 дней1лайквеса обновлены23 фев 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
HiFi-GAN — вокодер, обученный разработчиком репозитория на наборе аудиозаписей LJSpeech. Модель предназначена для синтеза речи: она преобразует речевые признаки в аудио. Архитектура относится к семейству HiFi-GAN; веса доступны в формате PyTorch.
Карточка указывает на обучение на LJSpeech и адаптацию кода официальной реализации для fairseq. Языковая метка — английский, поэтому модель связана с англоязычными данными. Для загрузки приведён пример с AutoModel из Transformers и параметром trust_remote_code. Сведения о лицензии и ограничениях качества в карточке не приведены.
Сценарии применения
преобразование речевых признаков в аудиосигнал
генерация аудио для англоязычной синтетической речи
воспроизведение речи в конвейере text-to-speech
исследование и прототипирование вокодеров HiFi-GAN
Ограничения
Модель обучена на LJSpeech, поэтому её применимость к другим голосам, условиям записи и языкам карточкой не подтверждена. В README не приведены сведения о лицензии.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель