/ Модель

Характеристики

Контекст
600 токенов
Лицензия
MIT
Архитектура
speecht5 · dense
Базовая модель
speecht5_tts
Опубликована
3 июл 2023

speecht5_tts_common_voice_uk

Синтез речиТекст → аудио3 профессии

Дообученная на Common Voice модель SpeechT5 преобразует украинский текст в речь.

96скачиваний за 30 дней3лайкавеса обновлены14 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Синтез речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ewigeki/speecht5_tts_common_voice_uk — модель синтеза речи из текста на украинском языке, созданная дообучением SpeechT5 на данных Common Voice. Она использует архитектуру SpeechT5ForTextToSpeech и распространяется в форматах PyTorch и safetensors.

Модель предназначена для преобразования украинского текста в речь. В карточке приведена таблица транслитерации украинских символов, включая Є, І и Ї, что указывает на обработку украинской письменности при подготовке текста. Базовая модель SpeechT5 была дообучена Microsoft на LibriTTS для синтеза речи.

Модель распространяется по лицензии MIT. Доступные сведения не описывают качество синтеза, поддерживаемые голоса или длину входного текста.

Сценарии применения

  • озвучивание украинских текстов
  • создание украинской речи для приложений и прототипов
  • синтез аудиоверсий украинских сообщений
  • генерация речи из украинского текста с учётом транслитерации символов

Ограничения

Карточка не сообщает об оценках качества, доступных голосах и ограничениях по длине текста.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is a fine-tuned version of SpeechT5 for the Ukrainian language, using the Common Voice dataset.

Usage:

!pip install git+https://github.com/huggingface/transformers

from transformers import SpeechT5Processor, SpeechT5ForTextToSpeech, SpeechT5ForSpeechToSpeech, SpeechT5HifiGan

processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_tts")
model = SpeechT5ForTextToSpeech.from_pretrained("tenebrisu/speecht5_tts_common_voice_uk")
vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

speaker_embeddings = 2 * torch.rand((1, 512)) - 1
text = """ pryvit yak spravy """

inputs = processor(text=text, return_tensors="pt")

speech = model.generate_speech(inputs["input_ids"], speaker_embeddings, output_cross_attentions=True)
waveform = vocoder.forward(speech[0])

Transliteration Table:

To support the transliteration of Ukrainian characters, the following table is used:

UkrainianTransliteration
Єje
Іi
Їji
Аa
Бb
Вv
Гh
Дd
Еe
Жzh
Зz
Иy
Йj
Кk
Лl
Мm
Нn
Оo
Пp
Рr
Сs
Тt
Уu
Фf
Хx
Цc
Чch
Шsh
Щshch
Ьq
Юju
Яja
аa
бb
вv
гh
дd
еe
жzh
зz
иy
йj
кk
лl
мm
нn
оo
пp
рr
сs
тt
уu
фf
хx
цc
чch
шsh
щshch
ьq
юju
яja
єje
іi
їji
Ґg
ґg

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
SpeechT5ForTextToSpeech
Ревизия весов
a992e04

0 моделей