/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Опубликована
17 сен 2026

ghana-vc

Обработка аудиоАудио → аудио

ghanaopenai/ghana-vc преобразует речь на разных языках в единый целевой голос, обученный на тви (акан).

0скачиваний за 30 дней1лайквеса обновлены17 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ghanaopenai/ghana-vc — модель преобразования голоса, разработанная на основе Seed-VC и дообученная на образцах голоса на языке тви (акан). Она преобразует входную речь в один целевой голос, сохраняя содержание и перенося тембр на речь на других языках; для работы с входом не требуется, чтобы он был на тви. Архитектура seed-uvit-whisper-small-wavenet включает Whisper-small как кодировщик содержания и вокодер BigVGAN; частота аудио — 22,05 кГц. Контрольная точка дообучена на 2500 шагах на примерно 10,5 тыс. синтезированных клипов тви.

Модель предназначена для преобразования голоса в аудиозаписях и создания речи единым целевым голосом, в том числе для источников на других языках. Для этой контрольной точки рекомендовано 50 шагов диффузии: 25 шагов могут звучать роботизированно, а 100 дают лишь небольшое улучшение при примерно двукратном замедлении относительно 50. В README указано, что дальнейшее обучение может улучшить качество.

Метаданные указывают формат PyTorch и задачу audio-to-audio. Лицензия карточки — CC-BY-NC-4.0, связанная с условиями обучающих данных; README также отмечает, что базовые веса Seed-VC распространяются по GPL-3.0, и рекомендует согласовать её применение с авторами Seed-VC для использования за пределами исследований или личных экспериментов. Зависимости для инференса могут загружать веса CAM++ и OpenVoice, для которых действуют собственные лицензии.

Сценарии применения

  • преобразование голоса в аудиозаписях
  • перенос целевого тембра на речь на других языках
  • создание аудиоверсий датасета единым голосом
  • эксперименты с преобразованием речи для языков Ганы

Ограничения

Модель дообучена лишь на 2500 шагах; README сообщает, что дальнейшее обучение может улучшить результат. При 25 шагах диффузии звук может быть роботизированным; для использования необходимо учитывать CC-BY-NC-4.0 обучающих данных и GPL-3.0 базовых весов Seed-VC.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ghana-vc

Voice conversion for Ghanaian languages. Converts any spoken audio into a single consistent Ghanaian voice.

The checkpoint was fine-tuned on a Twi (Akan) voice, but the conversion is cross-lingual — the source speech does not have to be Twi. Voice conversion works on speaker timbre rather than on words, so the target voice carries across languages the model never saw in training.

The checkpoint is not a ceiling: it was fine-tuned for 2,500 steps, and training further should improve it.

Hear it: ghana-vc demo — samples across 40+ Ghanaian and West African languages, original beside converted.

Architecture: seed-uvit-whisper-small-wavenet (22.05 kHz, Whisper-small content encoder, BigVGAN vocoder).

Quick start

The companion library converts a whole Hugging Face audio dataset into this voice and pushes the result back to the Hub:

pip install git+https://github.com/GhanaNLP/ghana-vc

export HF_TOKEN=hf_...
ghana-vc convert \
  --dataset <org>/<audio-dataset> \
  --output  <org>/<result> \
  --num-samples 100

The converted audio is added as an audio_zephyr column and pushed back to the Hub. Full documentation: GhanaNLP/ghana-vc.

Direct use with Seed-VC

python inference.py \
  --source <your-speech.wav> \
  --target ref_zephyr.wav \
  --output out/ \
  --diffusion-steps 50 \
  --length-adjust 1.0 \
  --inference-cfg-rate 0.7 \
  --checkpoint ft_model.pth \
  --config config_dit_mel_seed_uvit_whisper_small_wavenet.yml

Diffusion steps

--diffusion-steps 50 is the recommended default. Listening tests on this checkpoint found 25 steps (the Seed-VC default) noticeably more robotic, and 50 clearly smoother. 100 is available if you want to trade speed for a little more quality, but the returns are small.

StepsCharacter
25Fastest, audibly robotic on this checkpoint
50Recommended — smooth, good speed
100Marginally smoother, roughly 2x slower than 50

Files

FileDescription
ft_model.pthFine-tuned checkpoint (DiT + BigVGAN), 412 MB
config_dit_mel_seed_uvit_whisper_small_wavenet.ymlModel / training config
ref_zephyr.wavReference utterance of the target speaker
LICENSEUpstream Seed-VC GPL-3.0 text, retained for attribution

Training

Licensing — please read

This model card declares CC-BY-NC-4.0, reflecting the training data terms. Three layers apply, and all three matter before you use this model:

  1. Training data — the source dataset is CC-BY-NC-4.0, so use of this model is non-commercial.
  2. Upstream weights — the checkpoint was fine-tuned from Seed-VC's pretrained weights, which are GPL-3.0. GPL-3.0 is copyleft and this model is a derivative work of them. The upstream LICENSE file is retained here for that reason. The CC-BY-NC-4.0 declaration above does not by itself discharge that obligation.
  3. Inference dependencies — CAM++ and OpenVoice weights are auto-downloaded by the Seed-VC inference stack under their own licenses.

For anything beyond research or personal experimentation, resolve the GPL-3.0 question with the Seed-VC authors first.

Credits

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
6f7b120

0 моделей