/ Модель

Характеристики

Размер весов
5,4 ГБ
Лицензия
Apache 2.0
Библиотека
f5-tts
Опубликована
3 мая 2025

OpenF5-TTS-Base

Синтез речиТекст → аудио3 профессии

OpenF5 TTS Base — альфа-модель синтеза английской речи с клонированием голоса zero-shot, предназначенная также для дальнейшего дообучения.

1 872скачиваний за 30 дней90лайковвеса обновлены17 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OpenF5 TTS Base — открытая модель синтеза речи, разработанная автором репозитория на базе конфигурации F5-TTS Base V1 и обученная с использованием фреймворка F5-TTS. Она преобразует английский текст в речь и поддерживает клонирование голоса в режиме zero-shot по примеру голоса.

Модель обучалась в течение 1 млн шагов на наборе Emilia-YODAS, содержащем английскую речь. Репозиторий распространяется в формате PyTorch под лицензией Apache 2.0, разрешающей коммерческое и личное использование.

Это альфа-версия, задуманная прежде всего как открытая база для дальнейшего дообучения. По заявлению автора, она уступает официальной модели F5-TTS по качеству клонирования голоса; стабильность и качество могут быть недостаточными, а возможности передачи эмоций ограничены. Синтетическую речь следует применять ответственно, особенно при воспроизведении голосов идентифицируемых людей.

Сценарии применения

  • синтез речи из английского текста
  • клонирование голоса по аудиопримеру
  • создание озвучки для творческих проектов
  • подготовка открытой базы для дообучения TTS-моделей

Ограничения

Альфа-версия может уступать официальной F5-TTS по сходству клонированного голоса, качеству и стабильности. Обучение проводилось только на английской речи; возможны ограничения при передаче эмоций.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OpenF5 TTS Base (Alpha)

OpenF5 TTS is an open-weight text-to-speech model with support for zero-shot voice cloning based on and trained with the F5-TTS framework.

The main difference from the original F5-TTS model is the license of the model. Due to the training data, the F5-TTS model was licensed under a non-commercial license (CC BY-NC). This model was trained on permissively licensed data and is available under the Apache 2.0 license, which means it can be used for both commercial and personal purposes.

[!TIP] This model is still in alpha. Performance and stability may suffer. The main goal for this model is to create a permissively-licensed base for further fine-tuning. However, the current model is still inferior to the official NC-licensed F5-TTS model.

New variants will soon be released with more post-training/fine-tuning. These version will have:

  1. Better voice cloning capabilities with increased speaker similarity
  2. Enhanced emotional speech generation
  3. More stable performance

The current model is only a base model, much more is coming soon - stay tuned!

Details

This model was trained using the F5-TTS Base V1 model configuration for 1 million steps on the Emilia-YODAS dataset. The model was only trained on English speech.

Usage

pip install f5-tts
huggingface-cli download mrfakename/OpenF5-TTS --local-dir openf5
f5-tts_infer-cli -mc openf5/config.yaml -p openf5/model.pt -v openf5/vocab.txt

Safety

This model is provided under the Apache 2.0 License. Users are encouraged to consider the ethical and societal impacts of synthetic speech technologies. Potential misuse - including impersonation, deception, or violation of privacy - can lead to harm. While the license permits broad usage, responsible application is advised, particularly in contexts involving identifiable individuals or public communication. This model is intended to support research, accessibility, and creative work in a transparent and accountable manner.

Acknowledgements

Special thanks to Hugging Face for providing the compute to train this model.

Thanks to the authors of F5-TTS for releasing the great F5-TTS model and codebase and lucidrains for the original open-source E2-TTS implementation.

Additionaly, thanks to Amphion for the wonderful Emilia-YODAS dataset - without it, this project wouldn't have been possible.

License

This model is licensed under the Apache 2.0 license. You are free to use it for both commercial and non-commercial purposes.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · f5-tts

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
28e45df

0 моделей