/ Модель

Характеристики

Лицензия
GPL 3.0
Опубликована
15 сен 2026

krogee-vc-zephyr

Обработка аудиоАудио → аудио

Krogee VC Zephyr преобразует входную речь в голос целевого диктора Zephyr, включая кросс-языковые сценарии.

0скачиваний за 30 дней0лайковвеса обновлены16 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Krogee VC Zephyr — модель преобразования речи, созданная дообучением Seed-VC автором репозитория walusungungulube. Она преобразует входную речь в голос целевого диктора Zephyr, в том числе при различии языков исходной речи и обучающих данных. Архитектура seed-uvit-whisper-small-wavenet использует Whisper-small как кодировщик содержания и вокодер BigVGAN; частота дискретизации — 22,05 кГц.

Модель предназначена для кросс-языкового преобразования голоса. Целевой голос дообучен на синтезированных высказываниях на тви (акан) из ghananlpcommunity/ghana-twi-synthesized-speech; в демонстрации приведены примеры на тви, га, эве, суахили и йоруба. Репозиторий содержит чекпойнт PyTorch и опорную запись голоса. Лицензия — GPL-3.0.

Карточка не приводит количественной оценки качества или тестов. Результат может зависеть от исходной записи и не гарантирует точную передачу произношения и просодии целевого голоса на разных языках.

Сценарии применения

  • преобразование речи в голос Zephyr
  • перенос голоса на речь на другом языке
  • создание голосовых примеров для тви
  • демонстрация кросс-языкового преобразования голоса

Ограничения

Карточка не приводит количественных оценок качества и результатов тестирования. Модель нацелена на один целевой голос, а качество передачи произношения и просодии на разных языках может различаться.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Krogee VC — Seed-VC fine-tuned for "Zephyr"

A fine-tuned Seed-VC voice-conversion model that converts any spoken audio into the voice of the speaker Zephyr. It is cross-lingual - the source speech does not need to be Twi. It uses the seed-uvit-whisper-small-wavenet architecture (22.05 kHz, Whisper-small content encoder, BigVGAN vocoder).

The target voice was fine-tuned on clean Twi (Akan) utterances from ghananlpcommunity/ghana-twi-synthesized-speech.

Try the demo

Convert a clip straight in your browser:

Demo: Krogee Voice Converter

The demo includes a few bundled example clips (Twi, Ga, Ewe, Swahili, Yoruba) so you can hear the cross-lingual conversion immediately.

Files

FileDescription
ft_model.pthFine-tuned checkpoint (DIT + BigVGAN)
config_dit_mel_seed_uvit_whisper_small_wavenet.ymlModel/training config
ref_zephyr.wavReference utterance of the speaker used for conversion
LICENSEGPL-3.0 (upstream of seed-vc)
README.mdThis file

Usage

Use the checkpoint directly with Seed-VC inference:

python inference.py \
  --source <your-speech.wav> \
  --target ref_zephyr.wav \
  --output out/ \
  --diffusion-steps 25 \
  --length-adjust 1.0 \
  --inference-cfg-rate 0.7 \
  --checkpoint ft_model.pth \
  --config config_dit_mel_seed_uvit_whisper_small_wavenet.yml

Training summary

  • Dataset: ghananlpcommunity/ghana-twi-synthesized-speech (Twi, speaker Zephyr), ~10.5k valid clips
  • Steps: 2500, batch size 2, saved every 1250 steps
  • Baseline: seed-uvit-whisper-small-wavenet (zero-shot)

License

This is a derived work of Seed-VC (GPL-3.0), verbatim in LICENSE. The training data is the publicly released ghananlpcommunity/ghana-twi-synthesized-speech dataset (see its own terms); extra pretrained weights (CAM++ / OpenVoice) are auto-downloaded by the inference stack under their respective licenses.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
76bc28a

0 моделей