SyncVoice — модель на PyTorch для синтеза речи из текста, обученная на LRS3 и связанная с визуально обусловленной синхронизацией речи и лица.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
SyncVoice — модель синтеза речи, опубликованная kaidi555. В репозитории размещены официальные веса, обученные на наборе данных LRS3; метаданные указывают на реализацию PyTorch и лицензию Apache-2.0. Модель предназначена для преобразования текста в речь, а теги audio-visual, lip-sync и face-conditioned указывают на связь с визуально обусловленной синхронизацией речи и лица.
Карточка не уточняет архитектуру, число параметров, поддерживаемые языки, длину контекста, качество синтеза или точный формат входных данных. Поэтому практическую применимость для конкретных голосов и языков по доступным сведениям оценить нельзя.
В карточке не указаны поддерживаемые языки, архитектура и характеристики качества; применимость для конкретных языков и условий требует проверки.
README от автора на Hugging Face, как он его опубликовал
Official model weights trained on LRS3 dataset.
Download the model from kaidi555/SyncVoice:
hf download kaidi555/SyncVoice \
--include "lrs_exp/*" \
--local-dir checkpoints/syncvoice
The downloaded files are stored under:
checkpoints/syncvoice/lrs_exp/
checkpoint-55000.pt
model.json
tokens.txt
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · pytorch
В репозитории нет config.json: не понять архитектуру модели.