Характеристики

Базовая модель: speecht5_tts
Опубликована: 21 сен 2023

Ссылки

Hugging Face

speecht5_finetuned_voxpopuli_nl

mikhail-panzo

Генерация аудиоТекст → аудио

Дообученная на VoxPopuli модель SpeechT5 для преобразования текста в речь.

0скачиваний за 30 дней1лайквеса обновлены31 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это версия SpeechT5 для синтеза речи из текста, дообученная автором mikhail-panzo на датасете VoxPopuli на основе microsoft/speecht5_tts. Её задача — преобразовывать текст в речь; в карточке приведён результат оценки на тестовой выборке: loss 0.4597.

Базовая SpeechT5 от Microsoft также предназначена для синтеза речи. Карточка не уточняет язык синтезируемой речи, параметры голоса, длину контекста или условия лицензирования этой версии, поэтому их нельзя надёжно описать.

Сценарии применения

синтез речи из текста
озвучивание текстовых сообщений
создание речевого аудиоконтента

Ограничения

Язык синтезируемой речи и лицензия этой версии в карточке не уточнены. Приведён только loss 0.4597 на оценочной выборке; сведения о качестве и ограничениях применения отсутствуют.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

speecht5_finetuned_voxpopuli_nl

This model is a fine-tuned version of microsoft/speecht5_tts on the voxpopuli dataset. It achieves the following results on the evaluation set:

Loss: 0.4597

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 4
eval_batch_size: 2
seed: 42
gradient_accumulation_steps: 8
total_train_batch_size: 32
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
training_steps: 4000
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
0.5218	4.3	1000	0.4785
0.4932	8.61	2000	0.4658
0.4944	12.91	3000	0.4626
0.4926	17.21	4000	0.4597

Framework versions

Transformers 4.38.0.dev0
Pytorch 2.1.2+cu121
Datasets 2.12.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: a76bfb4