/ Модель

Характеристики

Лицензия
GPL 3.0
Базовая модель
Seed-VC
Опубликована
8 авг 2025

IndicVoiceChanger

Обработка аудиоАудио → аудио

Модель преобразует голос в аудиозаписи, сохраняя идентичность говорящего, и адаптирована для речи на индийских языках.

0скачиваний за 30 дней6лайковвеса обновлены11 авг 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

IndicVoiceChanger — модель преобразования речи, созданная DreamSyncCo путём дообучения Seed Voice Conversion на открытых и собственных данных. Она меняет характеристики голоса в аудиозаписи, сохраняя идентичность говорящего, и рассчитана на речь на индийских языках, включая разные акценты и стили произношения. По карточке модели, преобразование можно выполнять без предварительного обучения на целевом говорящем; дополнительная настройка под конкретный голос возможна даже на небольшом количестве данных.

Модель основана на Plachta/Seed-VC и обучалась, среди прочего, на наборе ai4bharat/IndicVoices. Для весов указана библиотека PyTorch, лицензия — GPL-3.0. Поддерживаемые языковые теги охватывают хинди, бенгальский, тамильский, телугу, малаялам, каннада, гуджарати, маратхи, ория, пенджаби, ассамский и английский; карточка каталога отдельно подтверждает хинди, бенгальский, тамильский и английский. Качество зависит от входной записи и целевого голоса; количественные оценки качества в карточке не приведены.

Сценарии применения

  • преобразование голоса в записи речи на хинди и других индийских языках
  • изменение тембра речи с сохранением личности говорящего
  • адаптация преобразования голоса под конкретного целевого говорящего
  • эксперименты с конвертацией голоса для разных акцентов и стилей речи

Ограничения

Качество зависит от характеристик исходной записи и целевого голоса; карточка не приводит количественных оценок качества. Утверждения о работе с минимальным количеством данных и скорости тонкой настройки приведены разработчиком и не сопровождаются независимой оценкой.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IndicVoiceChanger

IndicVoiceChanger is a finetuned version of the Seed Voice Conversion model, adapted for Indian languages.
It enables high-quality voice conversion across multiple Indian languages, preserving speaker identity while changing the voice characteristics.

Overview

This model is built upon the Seed Voice Conversion checkpoints and finetuned with a mix of publicly available open-source datasets and our own proprietary dataset.
It is designed to work well on speech data from diverse Indian languages, accents, and speaking styles.

Try It Out

Experience the model firsthand at: Hugging Face Spaces Demo

Fine-tuning on Custom Data

While the zero shot performance of this model is usually good, it can be further improved with fine-tuning. This model supports efficient fine-tuning on your custom speakers with remarkable data efficiency and speed:

  • Minimal Data Requirements: Train on new speakers with as little as 1 utterance per speaker
  • Ultra-Fast Training: Achieve good results in just 100 training steps (approximately 2 minutes on T4 GPU)
  • Speaker Adaptation: Significantly improve performance on specific target speakers through personalized fine-tuning

Getting Started with Fine-tuning

For detailed instructions on installation, usage, and fine-tuning, please refer to the comprehensive guide at: https://github.com/Plachtaa/seed-vc

Note: We will be updating this repository with example notebooks demonstrating the fine-tuning process soon.

Important: When fine-tuning for Indian languages, make sure to use the checkpoints provided in this repository as your starting point for optimal performance.

Acknowledgments

Special thanks to the SeedVC project for providing the foundational architecture and training framework that made this Indian language adaptation possible.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
6fb95c7

0 моделей