/ Модель

Характеристики

Размер весов
208 МБ
Лицензия
MIT
Опубликована
29 фев 2024

MeloTTS-Chinese

Синтез речиТекст → аудио3 профессии

MeloTTS-Chinese преобразует китайский текст, в том числе смешанный с английским, в речь и подходит для синтеза в реальном времени на CPU.

24 673скачиваний за 30 дней106лайковвеса обновлены1 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MeloTTS-Chinese — китайская модель синтеза речи из текста, разработанная MyShell.ai и входящая в мультиязычную библиотеку MeloTTS. Она предназначена для преобразования текста в речь; для китайского голоса заявлена поддержка смешанного китайско-английского текста. По README, инференс достаточно быстрый для работы в реальном времени на CPU. В репозитории указаны веса PyTorch и лицензия MIT.

Сценарии применения

  • озвучивание китайского текста
  • озвучивание смешанного китайско-английского текста
  • создание голосовых ответов на китайском языке
  • синтез речи в реальном времени на CPU

Ограничения

В описании приведены только общие сведения о качестве и скорости; конкретные показатели и ограничения не указаны. Поддержка смешанного текста заявлена для китайского голоса, а не как универсальная функция для всех голосов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MeloTTS

MeloTTS is a high-quality multi-lingual text-to-speech library by MyShell.ai. Supported languages include:

Model cardExample
English (American)Link
English (British)Link
English (Indian)Link
English (Australian)Link
English (Default)Link
SpanishLink
FrenchLink
Chinese (mix EN)Link
JapaneseLink
KoreanLink

Some other features include:

  • The Chinese speaker supports mixed Chinese and English.
  • Fast enough for CPU real-time inference.

Usage

Without Installation

An unofficial live demo is hosted on Hugging Face Spaces.

Use it on MyShell

There are hundreds of TTS models on MyShell, much more than MeloTTS. See examples here. More can be found at the widget center of MyShell.ai.

Install and Use Locally

Follow the installation steps here before using the following snippet:

from melo.api import TTS

# Speed is adjustable
speed = 1.0
device = 'cpu' # or cuda:0

text = "我最近在学习machine learning,希望能够在未来的artificial intelligence领域有所建树。"
model = TTS(language='ZH', device=device)
speaker_ids = model.hps.data.spk2id

output_path = 'zh.wav'
model.tts_to_file(text, speaker_ids['ZH'], output_path, speed=speed)

Join the Community

Open Source AI Grant

We are actively sponsoring open-source AI projects. The sponsorship includes GPU resources, fundings and intellectual support (collaboration with top research labs). We welcome both reseach and engineering projects, as long as the open-source community needs them. Please contact Zengyi Qin if you are interested.

Contributing

If you find this work useful, please consider contributing to the GitHub repo.

  • Many thanks to @fakerybakery for adding the Web UI and CLI part.

License

This library is under MIT License, which means it is free for both commercial and non-commercial use.

Acknowledgements

This implementation is based on TTS, VITS, VITS2 and Bert-VITS2. We appreciate their awesome work.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
af5d207

0 моделей