/ Модель

Характеристики

Размер весов
208 МБ
Лицензия
MIT
Опубликована
29 фев 2024

MeloTTS-Korean

Синтез речиТекст → аудио3 профессии

Корейская модель MeloTTS преобразует текст в речь и входит в многоязычную библиотеку синтеза речи MyShell.ai.

89 136скачиваний за 30 дней45лайковвеса обновлены29 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MeloTTS-Korean — корейская модель синтеза речи из текста в составе многоязычной библиотеки MeloTTS, разработанной MyShell.ai. Она предназначена для преобразования корейского текста в речь; библиотека также предлагает модели для других языков и заявляет возможность работы в реальном времени на CPU.

Для запуска локально README показывает использование библиотеки MeloTTS и Python. Репозиторий содержит веса PyTorch, лицензия — MIT. Карточка подтверждает поддержку корейского языка, но не описывает конкретные параметры голоса или другие характеристики этой версии.

Сценарии применения

  • озвучивание корейского текста
  • создание голосовых реплик на корейском языке
  • синтез речи для аудиоконтента на корейском

Ограничения

README не приводит оценок качества или подробностей о голосах этой корейской версии. Заявление о работе в реальном времени на CPU относится к библиотеке MeloTTS в целом.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MeloTTS

MeloTTS is a high-quality multi-lingual text-to-speech library by MyShell.ai. Supported languages include:

Model cardExample
English (American)Link
English (British)Link
English (Indian)Link
English (Australian)Link
English (Default)Link
SpanishLink
FrenchLink
Chinese (mix EN)Link
JapaneseLink
KoreanLink

Some other features include:

  • The Chinese speaker supports mixed Chinese and English.
  • Fast enough for CPU real-time inference.

Usage

Without Installation

An unofficial live demo is hosted on Hugging Face Spaces.

Use it on MyShell

There are hundreds of TTS models on MyShell, much more than MeloTTS. See examples here. More can be found at the widget center of MyShell.ai.

Install and Use Locally

Follow the installation steps here before using the following snippet:

from melo.api import TTS

# Speed is adjustable
speed = 1.0
device = 'cpu' # or cuda:0

text = "안녕하세요! 오늘은 날씨가 정말 좋네요."
model = TTS(language='KR', device=device)
speaker_ids = model.hps.data.spk2id

output_path = 'kr.wav'
model.tts_to_file(text, speaker_ids['KR'], output_path, speed=speed)

Join the Community

Open Source AI Grant

We are actively sponsoring open-source AI projects. The sponsorship includes GPU resources, fundings and intellectual support (collaboration with top research labs). We welcome both reseach and engineering projects, as long as the open-source community needs them. Please contact Zengyi Qin if you are interested.

Contributing

If you find this work useful, please consider contributing to the GitHub repo.

  • Many thanks to @fakerybakery for adding the Web UI and CLI part.

License

This library is under MIT License, which means it is free for both commercial and non-commercial use.

Acknowledgements

This implementation is based on TTS, VITS, VITS2 and Bert-VITS2. We appreciate their awesome work.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
0207e5a

0 моделей