/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Опубликована
2 окт 2026

F5TTS_v1_Base_Emilia_ZH_EN_repro

Синтез речиТекст → аудио

Экспериментальное воспроизведение F5TTS_v1_Base для синтеза речи по тексту на китайском и английском языках.

166скачиваний за 30 дней0лайковвеса обновлены5 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SpeechGenCourse подготовил воспроизведение F5TTS_v1_Base с нуля на датасете Emilia. Модель предназначена для синтеза речи по тексту на китайском и английском языках. Обучение ещё продолжается: после первых 5 500 обновлений на данных ZH+EN запуск перешёл на подмножество Emilia только на английском языке.

Используется архитектура DiT с размерностью 1024, 22 слоями и 16 головами внимания, pinyin-токенизатором и mel-представлением Vocos. На момент описания чекпойнт соответствует обновлению 40 000 из запланированных 1 271 061; качество ещё не оценивалось. Лицензия CC BY-NC 4.0 разрешает только некоммерческое использование.

Сценарии применения

  • синтез английской речи из текста
  • синтез китайской речи из текста
  • эксперименты с обучением моделей преобразования текста в речь
  • возобновление обучения F5TTS на датасете Emilia

Ограничения

Обучение не завершено, а качество модели ещё не оценивалось; после обновления 5 500 текущий запуск обучается только на английской части данных. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

F5TTS_v1_Base reproduction on Emilia (work in progress)

This is a from-scratch reproduction of F5TTS_v1_Base, which is still training.

Data note: updates 0–5,500 trained on Emilia ZH+EN (37.8M utterances, ~95k h). From update 5,500 on, the run continues on Emilia EN only (18.1M utterances, 46,643 h, a subset of the same ZH+EN data). The repo name keeps "ZH_EN" for continuity. optim.total_updates=1271061 keeps the original ZH+EN LR schedule and end point.

FileWhat it is
model_last.ptFull resumable trainer state (model, EMA, optimizer, scheduler, update). Currently update 40,000 / 1,271,061.
rng_last/rank*.ptPer-rank RNG state for an exact resume on 4 GPUs. Optional; resume works without it.
config.yamlResolved Hydra config of the current (EN-only) run. grad_accumulation_steps depends on the GPU count: NGPU × accum = 16.
vocab.txtOfficial F5-TTS pinyin vocab. Use it with pypinyin==0.54.0.
runs/TensorBoard event files for updates 0–5,631.

Setup: DiT with dim 1024, depth 22, 16 heads, pinyin tokenizer, vocos mel. The batch is 307,200 frames/update and the LR is 7.5e-5 with 20k warmup, then linear decay to update 1,271,061.

To resume, place model_last.pt (and optionally rng_last/) in ckpts/F5TTS_v1_Base_vocos_pinyin_Emilia_EN/ in the repo above and run source repro/state/main.env && bash repro/submit_train.sh. Each new checkpoint replaces model_last.pt; earlier steps are in the commit history (update 5,500 is the 2026-10-02 commit).

Status at update 40,000: past LR warmup, training loss around 0.8–1.1. Not evaluated yet.

License: CC BY-NC 4.0, inherited from Emilia. For non-commercial research only.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
f21c32d

0 моделей