Декодер FAcodec для потокового и zero-shot преобразования голоса с обобщением на разные тембры.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Plachta/FAcodec-redecoder — отдельный декодер для преобразования голоса, разработанный на основе предварительно обученного энкодера FAcodec. Он обучен на 50 тысячах часов речевых данных и предназначен для реконструкции и переноса тембра говорящего в аудио из подкастов, видео, игр и анимации.
Модель поддерживает преобразование голоса без примеров целевого голоса (zero-shot) и потоковую конверсию. В карточке указана лицензия MIT. Для использования требуется соответствующий предварительно обученный энкодер FAcodec; подробные примеры приведены в основном репозитории.
Это отдельный декодер, рассчитанный на работу с предварительно обученным энкодером FAcodec; качество зависит от совместимого энкодера и входных данных.
README от автора на Hugging Face, как он его опубликовал
FAcodec trained on 50k hours speech data, with more timbre diversity and better at reconstructing speakers from podcasts, videos, games or animations.
This is a separate decoder designed and trained based on the pretrained encoder specifically for voice conversion task.
It is capable of zero-shot voice conversion, stream voice conversion and has outstanding timbre generalization ability.
See main repository for example usages.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Обработка «аудио → аудио» пока не поддерживается.