/ Модель

Характеристики

Контекст
600 токенов
Лицензия
MIT
Архитектура
speecht5 · dense
Базовая модель
speecht5_tts
Опубликована
31 авг 2023

speecht5_finetuned_fleurs_zh

Синтез речиТекст → аудио3 профессии

Дообученная на FLEURS модель SpeechT5 для синтеза речи из текста.

19скачиваний за 30 дней2лайкавеса обновлены31 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Синтез речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GCYY/speecht5_finetuned_fleurs_zh — модель синтеза речи из текста, созданная дообучением SpeechT5 от Microsoft на наборе данных FLEURS. В метаданных указаны архитектура SpeechT5 и формат PyTorch; README сообщает значение loss 0,4343 на оценочной выборке.

Модель предназначена для преобразования текста в речь. Данные подтверждают связь обучения с FLEURS, но не раскрывают конкретный языковой охват, характеристики голоса или сценарии применения. Модель распространяется по лицензии MIT.

Сценарии применения

  • синтез речи из текста
  • создание аудиоверсии коротких сообщений
  • озвучивание текста в приложении
  • эксперименты с синтезом речи на данных FLEURS

Ограничения

README не сообщает характеристики синтезируемой речи или результаты оценки качества помимо значения loss 0,4343. Поддерживаемые языки отдельно не перечислены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

speecht5_finetuned_fleurs_zh

This model is a fine-tuned version of microsoft/speecht5_tts on the fleurs dataset. It achieves the following results on the evaluation set:

  • Loss: 0.4343

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 1e-05
  • train_batch_size: 4
  • eval_batch_size: 2
  • seed: 42
  • gradient_accumulation_steps: 8
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • training_steps: 400

Training results

Training LossEpochStepValidation Loss
0.68641.091000.6009
0.59762.192000.5062
0.5433.283000.4577
0.47864.384000.4343

Framework versions

  • Transformers 4.32.1
  • Pytorch 2.0.1+cu118
  • Datasets 2.14.4
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
SpeechT5ForTextToSpeech
Ревизия весов
23ce147

0 моделей