SoulX-LiveAct генерирует потоковые анимационные видео с человеком в реальном времени под мультимодальным управлением.
Подходит для: создание говорящего аватара для видеозвонков · генерация ведущего для подкаста или ток-шоу · анимация человека под аудио и текстовое управление
Модель SoulX-FlashTalk-14B генерирует потоковую анимацию портрета по аудио для создания цифровых аватаров в реальном времени.
Подходит для: анимация портретного аватара по речи · создание говорящего цифрового человека для прямых трансляций · потоковая генерация движений губ по аудио
Модель Soul-AILab на архитектуре Wan генерирует потоковое видео говорящей головы по изображению лица.
Подходит для: создание видео говорящего аватара по фотографии · потоковая генерация говорящей головы для интерактивного общения · создание реалистичных лицевых видеосообщений
SoulX-Singer синтезирует реалистичное пение голосами новых исполнителей с управлением мелодией, нотами MIDI, ритмом и выразительностью.
Подходит для: создание вокальной партии по тексту и мелодии · синтез пения голосом ранее не встречавшегося исполнителя · генерация вокала с заданным контуром F0
Модель Soul-AILab для синтеза длинных многосторонних диалогов и монологов с естественной речью, клонированием голоса и паралингвистическими элементами.
Подходит для: генерация длинных подкастных диалогов с несколькими голосами · синтез монологической речи по тексту · озвучивание диалогов на английском и китайском языках
Производная модели Soul-AILab/SoulX-Podcast-1.7B. Модель Soul-AILab для синтеза длинных многосторонних диалогов и монологов с естественной речью, клонированием голоса и паралингвистическими элементами.
Подходит для: генерация длинных подкастных диалогов с несколькими голосами · синтез монологической речи по тексту · озвучивание диалогов на английском и китайском языках
SoulX-Transcriber распознаёт речь в многосторонних диалогах, определяя говорящих и временные границы реплик.
Подходит для: расшифровка встреч с разделением реплик по участникам · диаризация интервью и групповых разговоров · создание стенограмм диалогов с временными отметками
Нейронный речевой кодек SAC кодирует и восстанавливает речь, совмещая семантический и акустический потоки.
Подходит для: восстановление речи из кодековых представлений · сжатие речевого аудио до битрейта 875 бит/с · получение семантических представлений речи
FP32-вариант весов SoulX-Singer для Apple Silicon, предназначенный для синтеза и преобразования вокального аудио.
Подходит для: генерация вокала по тексту и заданной мелодии · преобразование звучания вокальной записи · эксперименты с синтезом пения на Apple Silicon
SoulX-Singer-bf16 — набор весов для синтеза и преобразования вокала на Apple Silicon с использованием модели SoulX-Singer.
Подходит для: создание вокальной партии по тексту и музыкальному управлению · синтез пения с заданными MIDI-нотами и мелодией · управление ритмом и выразительностью вокала
Подготовленные для MLX веса SoulX-Singer позволяют синтезировать пение и преобразовывать певческий голос на Apple Silicon.
Подходит для: синтез вокала по тексту и музыкальным условиям · преобразование тембра певческого голоса · создание вокальных партий с заданной мелодией и ритмом
Производная модели Soul-AILab/SoulX-FlashHead-1_3B. Модель Soul-AILab на архитектуре Wan генерирует потоковое видео говорящей головы по изображению лица.
Подходит для: создание видео говорящего аватара по фотографии · потоковая генерация говорящей головы для интерактивного общения · создание реалистичных лицевых видеосообщений
Производная модели Soul-AILab/SoulX-Singer. SoulX-Singer синтезирует реалистичное пение голосами новых исполнителей с управлением мелодией, нотами MIDI, ритмом и выразительностью.
Подходит для: создание вокальной партии по тексту и мелодии · синтез пения голосом ранее не встречавшегося исполнителя · генерация вокала с заданным контуром F0
Производная модели Soul-AILab/SoulX-Podcast-1.7B. Модель Soul-AILab для синтеза длинных многосторонних диалогов и монологов с естественной речью, клонированием голоса и паралингвистическими элементами.
Подходит для: генерация длинных подкастных диалогов с несколькими голосами · синтез монологической речи по тексту · озвучивание диалогов на английском и китайском языках
FlashHead Lite MLX — комплект весов для локальной генерации видео из изображения с аудиоуправлением на MLX.
Подходит для: создание видео на основе исходного изображения · генерация видео с аудиоуправлением · локальный офлайн-рендер коротких видеосцен
Локальный MLX-чекпойнт FlashHead Pro для генерации видео из изображения с управлением по аудио.
Подходит для: создание говорящего видеопортрета из статичного изображения и аудио · анимация лица на фотографии под голосовую дорожку · локальная офлайн-генерация короткого видео из изображения и звука