/ Модель

Характеристики

Размер весов
79,6 ГБ
Лицензия
CC BY 4.0
Базовая модель
F5-TTS
Библиотека
f5-tts
Опубликована
27 ноя 2024

f5-ita-test

Синтез речиТекст → аудио3 профессии

Дообученная на итальянской речи F5-TTS для синтеза итальянского текста в аудио.

887скачиваний за 30 дней3лайкавеса обновлены12 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная на итальянской речи модель F5-TTS, созданная автором alien79 на базе SWivid/F5-TTS. Она преобразует итальянский текст в речь и предназначена для синтеза аудио на итальянском языке.

Модель обучалась на более чем 247 часах обучающей части датасета facebook/multilingual_librispeech. В карточке приведён чекпойнт примерно после 70 эпох; доступны также более ранние веса и обучающие чекпойнты для продолжения обучения. Модель распространяется по лицензии CC BY 4.0.

Автор отмечает, что во время обучения модель утратила способность корректно говорить по-английски, а итальянское произношение остаётся несовершенным. Для английского синтеза она не подходит; качество просодии и произношения может требовать проверки.

Сценарии применения

  • озвучивание итальянских текстов
  • создание итальянской речи для приложений и прототипов
  • эксперименты с синтезом итальянской речи
  • продолжение дообучения на итальянских речевых данных

Ограничения

Автор сообщает о несовершенном итальянском произношении и утрате способности корректно говорить по-английски. Перед практическим использованием следует проверять произношение и просодию.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is an Italian finetune for F5-TTS

UPDATE:

A better version with improved prosody here => https://huggingface.co/alien79/F5-TTS-italian *

Italian only so can't speak english properly

Trained over 247+h hours of "train" split of facebook/multilingual_librispeech dataset, 6717 steps for Epoch:

  • catastrophic failure (the model forgot english)
  • italian pronunciation not perfect (there are lot of checkpoints to let you play with and extend training, maybe with different datasets)

Current most trained model

italian_59kh/model_464400.safetensors (~70 Epoch)

folder structure:

| - italian_59kh
|   | - checkpoints

italian_59kh

Contains the weight at specific steps, the higher the number, the further it went into training. Weights in this folder can't be used to resume training, use checkpoints instead.

italian_59kh/checkpoints

Contains the weight of the checkpoints at specific steps, the higher the number, the further it went into training. Weights in this folder can be used as starting point to continue training.

The run.py file is an example of how to extract the wav files and produce the metadata.csv to use for training

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · f5-tts

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
4b7ec64

0 моделей