/ Модель

Характеристики

Размер весов
208 МБ
Лицензия
MIT
Опубликована
29 фев 2024

MeloTTS-Japanese

Синтез речиТекст → аудио3 профессии

Японская версия MeloTTS от MyShell.ai преобразует текст в речь для озвучивания японских текстов.

42 172скачиваний за 30 дней23лайкавеса обновлены1 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MeloTTS-Japanese — японская версия многоязычной системы синтеза речи MeloTTS, разработанной MyShell.ai. Она преобразует текст в речь и предназначена для озвучивания японских текстов. README описывает MeloTTS как высококачественную многоязычную библиотеку синтеза речи, способную работать в реальном времени на CPU; приведённый пример локального использования основан на Python-библиотеке MeloTTS.

Модель опубликована в формате PyTorch под лицензией MIT. Метаданные указывают задачу text-to-speech и язык ko, тогда как идентификатор репозитория и назначение этой версии указывают на японский; сведения о языках в карточке противоречат друг другу. README не приводит точных параметров голоса, архитектуры, размера модели или длины контекста.

Сценарии применения

  • озвучивание японских текстов
  • создание японской речи для приложений и сервисов
  • локальный синтез японской речи на CPU
  • подготовка аудиоверсий японских материалов

Ограничения

Метаданные карточки отмечают язык ko, что расходится с названием и назначением японской версии. README не уточняет характеристики конкретного японского голоса.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MeloTTS

MeloTTS is a high-quality multi-lingual text-to-speech library by MyShell.ai. Supported languages include:

Model cardExample
English (American)Link
English (British)Link
English (Indian)Link
English (Australian)Link
English (Default)Link
SpanishLink
FrenchLink
Chinese (mix EN)Link
JapaneseLink
KoreanLink

Some other features include:

  • The Chinese speaker supports mixed Chinese and English.
  • Fast enough for CPU real-time inference.

Usage

Without Installation

An unofficial live demo is hosted on Hugging Face Spaces.

Use it on MyShell

There are hundreds of TTS models on MyShell, much more than MeloTTS. See examples here. More can be found at the widget center of MyShell.ai.

Install and Use Locally

Follow the installation steps here before using the following snippet:

from melo.api import TTS

# Speed is adjustable
speed = 1.0
device = 'cpu' # or cuda:0

text = "彼は毎朝ジョギングをして体を健康に保っています。"
model = TTS(language='JP', device=device)
speaker_ids = model.hps.data.spk2id

output_path = 'jp.wav'
model.tts_to_file(text, speaker_ids['JP'], output_path, speed=speed)

Join the Community

Open Source AI Grant

We are actively sponsoring open-source AI projects. The sponsorship includes GPU resources, fundings and intellectual support (collaboration with top research labs). We welcome both reseach and engineering projects, as long as the open-source community needs them. Please contact Zengyi Qin if you are interested.

Contributing

If you find this work useful, please consider contributing to the GitHub repo.

  • Many thanks to @fakerybakery for adding the Web UI and CLI part.

License

This library is under MIT License, which means it is free for both commercial and non-commercial use.

Acknowledgements

This implementation is based on TTS, VITS, VITS2 and Bert-VITS2. We appreciate their awesome work.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
367f879

0 моделей