/ Модель

Характеристики

Лицензия
GPL 3.0
Библиотека
seed-vc
Опубликована
18 сен 2026

africa-vc

Обработка аудиоАудио → аудио

Модель преобразует голос в аудиозаписи, сохраняя произнесённые слова и язык, и позволяет выбирать один из 30 целевых голосов.

0скачиваний за 30 дней0лайковвеса обновлены18 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

africa-vc — модель преобразования голоса для африканских языков, созданная дообучением Seed-VC на наборе AfriSpeech/multivoice-synthetic-speech. Она меняет голос в исходной записи, сохраняя произнесённые слова и язык: чтобы получить речь на конкретном языке, исходное аудио уже должно быть на этом языке. Целевой голос выбирается во время преобразования по эталонному аудиофрагменту; доступны 30 голосов из одного контрольного чекпойнта.

Модель предназначена для преобразования речи между голосами при сохранении содержания аудио. Для обучения использованы 17 010 синтетических клипов общей длительностью 38,7 часа и 30 голосов; в README число языков указано как 567 в описании и 566 в таблице обучения. Модель использует библиотеку seed-vc, а файлы представлены в формате PyTorch. Лицензия — GPL-3.0.

Качество заметно различается между языками. Поскольку обучающие записи синтезированы Google Gemini и охватывают голоса одного семейства TTS, модель может перенимать ошибки произношения и синтетические тембры, а также хуже работать с реальными голосами; результат рекомендуется проверять на живой речи.

Сценарии применения

  • преобразование голоса в записи африканских языков
  • замена голоса в речи с сохранением слов и языка
  • создание вариантов озвучивания с одним из 30 целевых голосов

Ограничения

Качество сильно различается по языкам; обучение велось на синтетической речи от одного семейства TTS, поэтому модель может воспроизводить ошибки произношения и хуже переноситься на реальные голоса. Для преобразования в речь на нужном языке исходное аудио уже должно быть на этом языке.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

africa-vc

Voice conversion for African languages, fine-tuned from Seed-VC on AfriSpeech/multivoice-synthetic-speech — 17,010 clips, 567 African languages, 30 voices, 38.7 hours.

What it does

It converts who is speaking, not what is said. The words and the language come from the source audio; only the voice is replaced. It cannot make a model speak a language — to get Twi out, the source must already be Twi.

Because it was trained on all 30 voices rather than one, the target voice is a runtime choice: the reference clip selects it, and every one of the 30 is reachable from this single checkpoint.

Use

pip install git+https://github.com/AfriSpeech/africa-vc
africa-vc voices
africa-vc convert --source speech.wav --voice Sulafat --checkpoint ft_model.pth

Training

BaseSeed-VC 51383efd9210
Configconfig_dit_mel_seed_uvit_whisper_small_wavenet.yml
Data17,010 clips, 566 languages, 30 voices
Steps20,000
Batch size2
HardwareModal A100-40GB

Caveats

The training audio is synthetic, generated with Google Gemini. The model learns those voices, and where the synthesiser mispronounced a language it learns that too. With 30 speakers from one TTS family there is a real risk of overfitting to synthetic timbre and generalising less well to human reference clips — check against real speech before relying on it.

Quality varies enormously by language. The voices were built for widely spoken languages and were asked to read hundreds of others.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · seed-vc

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
0843d95

0 моделей