Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
susnato/clvp_dev — модель семейства CLVP, размещённая susnato для интеграции с Tortoise-TTS. Автор README указывает, что веса принадлежат James Betker и связаны с работой «Better Speech Synthesis Through Scaling». CLVP — компонент системы синтеза речи Tortoise-TTS; модель сопоставляет текстовые токены и MEL-токены с помощью двух энкодеров архитектуры, сходной с текстовым энкодером CLIP. В репозитории указаны класс ClvpModelForConditionalGeneration и формат PyTorch.
Модель предназначена для извлечения признаков, используемых в конвейере Tortoise-TTS для работы с текстом и мел-спектрограммными токенами. README не приводит сведений о размере модели, длине контекста, лицензии или поддерживаемых естественных языках. Автор репозитория отмечает, что временно хранит чужие веса; условия их использования следует проверять у правообладателя.
Сценарии применения
извлечение признаков текста для конвейера Tortoise-TTS
сопоставление текстовых токенов с MEL-токенами
интеграция компонента CLVP в систему синтеза речи
Ограничения
README не сообщает размер модели, длину контекста и поддерживаемые естественные языки. Автор репозитория указывает, что веса принадлежат James Betker; лицензионные условия в предоставленных данных отсутствуют.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
DISCLAIMER : I do not own any weights present in this repository. All weights belong to the author of the
paper - "Better speech synthesis through scaling", James Betker . I am storing the weights(temporarily) for the tortoise-tts integration
to Huggingface. Please refer to this PR to know more.
CLVP model is an integral part of tortoise-tts presented in the paper - "Better speech synthesis through scaling" by James Betker.
CLVP uses an architecture similar to the CLIP text encoder, except it uses two of them: one for text
tokens and the other for MEL tokens.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров