FAcodec trained on 50k hours speech data, with more timbre diversity and better at reconstructing speakers from podcasts, videos, games or animations.
See main repository for example usages.
FAcodec
Обработка аудиоАудио → аудио
FAcodec — модель аудио-аудио для кодирования и восстановления речи и тембра говорящего по аудиозаписям.
0скачиваний за 30 дней10лайковвеса обновлены30 июн 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
FAcodec — модель кодирования и восстановления аудио, обученная на 50 тысячах часов речевых данных. По карточке модель рассчитана на более точное восстановление голоса и тембра говорящего, в том числе по речи из подкастов, видео, игр и анимации.
Модель принимает аудио и предназначена для задач преобразования аудио в аудио, связанных с реконструкцией речи и характеристик голоса. Карточка не сообщает архитектуру, число параметров, поддерживаемые языки или длину контекста. Весы опубликованы в формате PyTorch; лицензия — MIT.
Заявленное преимущество — разнообразие тембров и восстановление голосов из разнородных речевых источников. Подробности о качестве, поддерживаемых входных форматах и ограничениях применения в карточке не приведены.
Сценарии применения
- восстановление тембра говорящего в подкастах
- реконструкция голосов из видеозаписей
- восстановление речи персонажей игр
- реконструкция голосов в анимации
Ограничения
Карточка не уточняет архитектуру, поддерживаемые языки и форматы входного аудио, а также не приводит количественных оценок качества.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Обработка «аудио → аудио» пока не поддерживается.
- Ревизия весов
- a8e5a0a