/ Модель

Характеристики

Размер весов
1,2 ГБ
Лицензия
CC BY-NC 4.0
Библиотека
chat_tts
Опубликована
25 мая 2024

ChatTTS

Генерация аудиоТекст → аудио3 профессии

ChatTTS от 2Noise синтезирует речь из текста с настройкой диктора, скорости и выразительных элементов, например смеха.

2 417скачиваний за 30 дней1 681лайквеса обновлены22 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ChatTTS — модель синтеза речи, опубликованная командой 2Noise. Она преобразует текст в аудио и позволяет задавать параметры речи, включая голос диктора и скорость, а также добавлять смех. Репозиторий содержит веса в формате safetensors и использует библиотеку chat_tts.

Модель подходит для озвучивания текста и создания разговорной речи с настраиваемой подачей. README обозначает материалы как предназначенные для академического и образовательного использования и исключает коммерческое или юридическое применение; метаданные указывают лицензию CC BY-NC 4.0.

Сценарии применения

  • озвучивание текста разговорной речью
  • создание аудио с выбранным голосом диктора
  • настройка скорости синтезированной речи
  • добавление смеха в сгенерированную речь

Ограничения

README описывает использование как академическое и образовательное и исключает коммерческое или юридическое применение; метаданные указывают лицензию CC BY-NC 4.0. Поддерживаемые языки в предоставленных данных не установлены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

We are also training larger-scale models and need computational power and data support. If you can provide assistance, please contact OPEN-SOURCE@2NOISE.COM. Thank you very much.

Clone the Repository

First, clone the Git repository:

git clone https://github.com/2noise/ChatTTS.git

Model Inference

# Import necessary libraries and configure settings
import torch
import torchaudio
torch._dynamo.config.cache_size_limit = 64
torch._dynamo.config.suppress_errors = True
torch.set_float32_matmul_precision('high')

import ChatTTS
from IPython.display import Audio

# Initialize and load the model: 
chat = ChatTTS.Chat()
chat.load_models(compile=False) # Set to True for better performance

# Define the text input for inference (Support Batching)
texts = [
    "So we found being competitive and collaborative was a huge way of staying motivated towards our goals, so one person to call when you fall off, one person who gets you back on then one person to actually do the activity with.",
    ]

# Perform inference and play the generated audio
wavs = chat.infer(texts)
Audio(wavs[0], rate=24_000, autoplay=True)

# Save the generated audio 
torchaudio.save("output.wav", torch.from_numpy(wavs[0]), 24000)

For more usage examples, please refer to the example notebook, which includes parameters for finer control over the generated speech, such as specifying the speaker, adjusting speech speed, and adding laughter.

Disclaimer: For Academic Purposes Only

The information provided in this document is for academic purposes only. It is intended for educational and research use, and should not be used for any commercial or legal purposes. The authors do not guarantee the accuracy, completeness, or reliability of the information.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · chat_tts

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
1a3c04a

0 моделей