Модель преобразует входную речь в голос целевого диктора без отдельного обучения на нём.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
alphacep/vosk-vc-ru — базовая модель для преобразования голоса без обучения на конкретном целевом дикторе. Она обучена на базе VITS и ContentVec и предназначена для преобразования входной речи с сохранением содержания и изменением характеристик голоса. В README приведено сравнение сходства целевого голоса, рассчитанного с Resemblyzer: среднее значение 0,880, минимум 0,712; для исходной QuickVC указаны 0,667 и 0,477 соответственно. Модель принимает аудио и выдаёт аудио, ориентирована на русский язык. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.
Карточка сообщает о базовой zero-shot модели и приводит оценку сходства дикторов, но не описывает методику оценки, качество на разных условиях записи или ограничения по длительности и типу аудио.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a basic zero-shot voice conversion model trained with VITS + contentvec
See:
https://github.com/alphacep/vosk-tts/tree/master/vc
https://github.com/quickvc/QuickVC-VoiceConversion
https://github.com/auspicious3000/contentvec
Computed with eval.py with Resemblyzer
Original QuickVC (trained on VCTK) Average: 0.667 Min: 0.477
New model Average: 0.880 Min: 0.712
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Обработка «аудио → аудио» пока не поддерживается.