Модель SoulX-FlashTalk-14B генерирует потоковую анимацию портрета по аудио для создания цифровых аватаров в реальном времени.

Подходит для: анимация портретного аватара по речи · создание говорящего цифрового человека для прямых трансляций · потоковая генерация движений губ по аудио

AVTR-1 создаёт в реальном времени говорящий аватар, анимируя портрет по речи и аудиодорожке слушающего.

Подходит для: анимация портрета с синхронизацией губ по речи · создание говорящего аватара для видеодиалога · потоковая генерация реакций слушающего

Модель преобразует исходное видео в видео с говорящим аватаром, синхронизируя движения лица с аудиодорожкой и сохраняя движения тела, камеры и фона.

Подходит для: анимация лица в исходном видео по аудиозаписи · создание говорящего аватара с сохранением движений тела и фона · синхронизация лица персонажа с речевой дорожкой

StableAvatar создаёт длинные видео с говорящим аватаром по его изображению и аудио, сохраняя внешность и синхронизацию речи.

Подходит для: анимация портрета под запись речи · создание видеоролика с говорящим аватаром · синхронизация движения губ с аудиодорожкой

ONNX-модель на базе wav2vec2 оценивает возраст и классифицирует категорию говорящего по голосовому аудио.

Подходит для: оценка возраста говорящего по голосу · классификация голоса по категориям ребёнок, женщина и мужчина · извлечение признаков голоса для анализа говорящего

Дообученная диффузионная модель для безусловной генерации мультяшных аватаров в стиле аниме.

Подходит для: создание аватаров персонажей в стиле аниме · генерация мультяшных портретов · создание изображений лиц персонажей без текстового запроса

ONNX-модель ERes2NetV2 преобразует акустические признаки речи в 192-мерные эмбеддинги для сравнения и верификации говорящих.

Подходит для: получение эмбеддинга голоса из речевого фрагмента · сравнение голосов по косинусному сходству · проверка, говорит ли один и тот же человек в двух записях

Модель создаёт синхронизированное с аудио видео говорящего аватара в разрешении 720p по референсному изображению.

Подходит для: создание говорящего аватара по портрету и записи речи · синхронизация движения губ с аудиодорожкой · генерация озвученного портретного видео

Производная модели Soul-AILab/SoulX-FlashHead-1_3B. Модель Soul-AILab на архитектуре Wan генерирует потоковое видео говорящей головы по изображению лица.

Подходит для: создание видео говорящего аватара по фотографии · потоковая генерация говорящей головы для интерактивного общения · создание реалистичных лицевых видеосообщений