Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
sapinsapin/speecht5_tts-fsc — дообученная модель Microsoft SpeechT5 для синтеза речи из текста на филиппинском языке, включая тагальский и смешанную речь Taglish. Модель обучена на датасете FilipinoSpeechCorpus: 1867 записей прочитанной речи; обучение продолжалось 1000 шагов. Для генерации использовались обусловливание голосом через SpeechBrain x-vector и вокодер microsoft/speecht5_hifigan.
Модель предназначена для озвучивания филиппинских текстов и экспериментов с синтезом речи для тагальской и Taglish-речи. В карточке приведено значение eval_loss 0.4432 и упомянуты аудиопримеры для прослушивания. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — MIT.
Это дообучение microsoft/speecht5_tts, которая сама основана на SpeechT5 и была дообучена на LibriTTS. Оценка качества ограничена описанным экспериментом на небольшом корпусе прочитанной речи; сведения о переносе на другие голоса, типы речи и широкие сценарии использования не приведены.
Сценарии применения
озвучивание текстов на тагальском языке
синтез речи на Taglish
создание аудиоверсий коротких текстов на филиппинском языке
эксперименты с синтезом филиппинской речи
Ограничения
Обучение проводилось на 1867 записях прочитанной речи, поэтому качество для спонтанной речи, других голосов и широкого набора условий не подтверждено. Значение eval_loss само по себе не характеризует качество звучания в реальных сценариях.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Trained for 1000 steps on 1867 read-speech clips (batch 4x8, lr 1e-05, fp32 + gradient checkpointing). Synthesized listen-test samples are in samples/ (speechbrain x-vector speaker conditioning + microsoft/speecht5_hifigan vocoder).
metric
value
eval_loss
0.4432
Trained with finetune_tts.py from the
halohalo pipeline; the dataset
adapter normalizes each corpus to (audio@16k, text, speaker_id) so corpora
are swappable with a --dataset flag.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров