/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
parler_tts · dense
Базовая модель
indic-parler-tts
Библиотека
transformers
Опубликована
8 дек 2024

TTS-OLD

Синтез речиТекст → аудио3 профессии

Дообученная на базе Indic Parler-TTS модель для синтеза многоязычной речи с настройкой звучания через текстовое описание.

23скачиваний за 30 дней8лайковвеса обновлены8 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OEvortex/TTS-OLD — дообученная модель HelpingAI-TTS-v1 на архитектуре Parler-TTS, основанная на ai4bharat/indic-parler-tts. Она преобразует текст в речь и позволяет задавать желаемые характеристики звучания текстовым описанием: например, темп, эмоциональный тон и акцент. Модель предназначена для создания выразительной речи на нескольких языках, включая сценарии озвучивания с заданной манерой подачи.

В карточке заявлена поддержка более 20 языков, среди них английский, ассамский, бенгальский, хинди, каннада, малаялам, маратхи, непали, санскрит, тамильский, телугу и урду. Архитектура — Parler-TTS для генерации речи по тексту и описанию звучания. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит подтверждённых оценок качества или подробных ограничений; заявленное качество следует проверять на целевых языках и голосовых сценариях.

Сценарии применения

  • озвучивание текста на индийских языках
  • создание речи с заданным эмоциональным тоном
  • управление темпом и манерой озвучивания
  • генерация диалоговой речи для приложений
  • создание многоязычных голосовых материалов

Ограничения

Перечень языков в README и метаданных различается, а фактическое качество для каждого языка не подтверждено оценками. Карточка не содержит подробной информации о доступных голосах и надёжности управления акцентом.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HelpingAI-TTS-v1 🎤🔥

Yo, what's good! Welcome to HelpingAI-TTS-v1, your go-to for next-level Text-to-Speech (TTS) that's all about personalization, vibes, and clarity. Whether you want your text to sound cheerful, emotional, or just like you're chatting with a friend, this model's got you covered. 💯

🚀 What’s HelpingAI-TTS-v1?

HelpingAI-TTS-v1 is a beast when it comes to generating high-quality, customizable speech. It doesn’t just spit out generic text; it feels what you're saying and brings it to life with style. Add a description to your speech, like how fast or slow it should be, if it’s cheerful or serious, and BOOM — you got yourself the perfect audio output. 🎧

🛠️ How It Works: A Quick Rundown 🔥

  1. Transcript: The text you want to speak. Keep it casual, formal, or whatever suits your vibe.
  2. Caption: Describes how you want the speech to sound. Want a fast-paced, hype vibe or a calm, soothing tone? Just say it. 🔥

💡 Features You’ll Love:

  • Expressive Speech: This isn’t just any TTS. You can describe the tone, speed, and vibe you want. Whether it's a peppy "Hey!" or a chill "What's up?", this model’s got your back.
  • Top-Notch Quality: Super clean audio. No static. Just pure, high-quality sound that makes your words pop.
  • Customizable Like Never Before: Play with emotions, tone, and even accents. It’s all about making it personal. 🌍

🔧 Get Started: Installation 🔥

Ready to vibe? Here’s how you set up HelpingAI-TTS-v1 in seconds:

pip install git+https://github.com/huggingface/parler-tts.git

🖥️ Usage: Let's Make Some Magic 🎤

Here’s the code that gets the job done. Super simple to use, just plug in your text and describe how you want it to sound. It’s like setting the mood for a movie.

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

# Choose your device (GPU or CPU)
device = "cuda:0" if torch.cuda.is_available() else "cpu"

# Load the model and tokenizers
model = ParlerTTSForConditionalGeneration.from_pretrained("HelpingAI/HelpingAI-TTS-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("HelpingAI/HelpingAI-TTS-v1")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

# Customize your inputs: text + description
prompt = "Hey, what's up? How’s it going?"
description = "A friendly, upbeat, and casual tone with a moderate speed. Speaker sounds confident and relaxed."

# Tokenize the inputs
input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

# Generate the audio
generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()

# Save the audio to a file
sf.write("output.wav", audio_arr, model.config.sampling_rate)

This will create a super clean .wav file with the speech you asked for. 🔥

🌍 Language Support: Speak Your Language

No matter where you're from, HelpingAI-TTS-v1 has you covered. Officially supporting 20+ languages and unofficial support for a few more. That’s global vibes right there. 🌏

  • Assamese
  • Bengali
  • Bodo
  • Dogri
  • Kannada
  • Malayalam
  • Marathi
  • Sanskrit
  • Nepali
  • English
  • Telugu
  • Hindi
  • Gujarati
  • Konkani
  • Maithili
  • Manipuri
  • Odia
  • Santali
  • Sindhi
  • Tamil
  • Urdu
  • Chhattisgarhi
  • Kashmiri
  • Punjabi

Powered by HelpingAI, where we blend emotional intelligence with tech. 🌟

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Архитектура parler_tts неизвестна transformers в образе рантайма.

Класс архитектуры
ParlerTTSForConditionalGeneration
Ревизия весов
8e06ba1

0 моделей