/ Модель

Характеристики

Лицензия
CC BY-NC-SA 4.0
Библиотека
pytorch
Опубликована
10 июл 2025

F5-TTS-Vietnamese-ViVoice

Синтез речиТекст → аудио3 профессии

Дообученная на 1000 часах вьетнамской речи модель F5-TTS для синтеза вьетнамского текста в аудио.

5 400скачиваний за 30 дней58лайковвеса обновлены27 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

F5-TTS-Vietnamese-ViVoice — компактная дообученная версия F5-TTS, созданная автором репозитория на основе F5-TTS_Base для синтеза вьетнамской речи. Модель обучена на 1000 часах аудиоданных из Vi-Voice и наборов VLSP 2021, 2022 и 2023; при подготовке данных отфильтровывали записи с плохими транскрипциями и аудио вне диапазона длительности от одной до 30 секунд.

Модель предназначена для преобразования вьетнамского текста в речь. В примере использования F5-TTS принимает текст для озвучивания, а также референсное аудио и его транскрипцию; для инференса указаны F5-TTS и Vocos. Репозиторий опубликован в формате PyTorch и лицензирован CC-BY-NC-SA-4.0, допускающей только некоммерческое использование. Автор указывает, что модель предназначена для исследований и экспериментов, и запрещает использование для клонирования голоса без согласия, мошенничества и иных незаконных целей.

Сценарии применения

  • озвучивание вьетнамского текста
  • генерация вьетнамской речи по референсному аудио
  • создание вьетнамских голосовых материалов для некоммерческих исследований

Ограничения

Лицензия ограничивает использование некоммерческими целями. Автор запрещает клонирование голоса без законного согласия и использование модели для обмана или незаконной деятельности.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🛑 Important Note ⚠️

This Text-to-Speech (TTS) model is provided solely for research, experimentation, and technology development purposes. Any audio content generated by the model does not represent the voice, identity, opinions, or endorsement of any real individual or organization. The authors and related parties assume no responsibility for any misuse, unlawful activities, violations of privacy, personality rights, intellectual property rights, or any direct or indirect damages arising from the use of this model.

Users bear full responsibility and legal liability for the deployment, distribution, and use of the model. The use of this model for impersonation, voice cloning of individuals without lawful consent, creating misleading content, fraud, manipulation of public opinion, or any purpose that violates applicable laws is strictly prohibited. When using or sharing generated audio, it is strongly recommended to clearly disclose that the content is AI-generated and to comply fully with all applicable legal regulations, platform policies, and ethical standards.

🎙️ F5-TTS-Vietnamese-1000h

A compact fine-tuned version of F5-TTS trained on 1000 hours of Vietnamese speech.

🔗 For more fine-tuning experiments, visit: https://github.com/nguyenthienhy/F5-TTS-Vietnamese.

📜 License: CC-BY-NC-SA-4.0 — Non-commercial research use only.

☕ Give Me a Coffee for Training Cost

This model was trained entirely on self-funded, personal hardware — every GPU hour and electricity bill came out of my own pocket.
If this work is useful to you, a small contribution helps cover the cost of the next training run and keeps future models free and open. Every coffee is hugely appreciated 🙏

Thank you for supporting open Vietnamese Speech! ❤️


📌 Model Details

  • Dataset: Vi-Voice, VLSP 2021, VLSP 2022, VLSP 2023
  • Total dataset durations: 1000 hours
  • Data processing Technique:
    • Remove all music background from audios, using facebook demucs model: https://github.com/facebookresearch/demucs
    • Do not use audio files shorter than 1 second or longer than 30 seconds.
    • Using Chunk-Large-Former Speech2Text model by Zalo-AI to filter audio which has bad transcript
    • Keep the default punctuation marks unchanged.
    • Normalize to lowercase format.
  • Training Configuration:
    • Base Model: F5-TTS_Base
    • GPU: RTX 3090
    • Batch Size: 3200 frames - 1.5 months for training

📝 Usage

To load and use the model, follow the example below:

git clone https://github.com/nguyenthienhy/F5-TTS-Vietnamese
cd F5-TTS-Vietnamese
python -m pip install -e.
mv F5-TTS-Vietnamese-ViVoice/config.json F5-TTS-Vietnamese-ViVoice/vocab.txt
f5-tts_infer-cli \
--model "F5TTS_Base" \
--ref_audio ref.wav \
--ref_text "cả hai bên hãy cố gắng hiểu cho nhau" \
--gen_text "mình muốn ra nước ngoài để tiếp xúc nhiều công ty lớn, sau đó mang những gì học được về việt nam giúp xây dựng các công trình tốt hơn" \
--speed 1.0 \
--vocoder_name vocos \
--vocab_file F5-TTS-Vietnamese-ViVoice/vocab.txt \
--ckpt_file F5-TTS-Vietnamese-ViVoice/model_last.pt \

---

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
5c14cdd

0 моделей