AuK — диффузионная модель Tencent на 1,5 млрд параметров для синтеза и редактирования речи по текстовым инструкциям.

Подходит для: синтез речи по тексту · zero-shot синтез голоса · генерация речи по инструкции

MioTTS-2.6B — дообученная LLM для быстрого синтеза английской и японской речи с возможностью клонирования голоса по короткому аудиообразцу.

Подходит для: озвучивание английского текста · озвучивание японского текста · клонирование голоса по короткой аудиозаписи

E2-TTS — модель синтеза речи из текста с поддержкой zero-shot сценария.

Подходит для: синтез речи по тексту · zero-shot озвучивание текста · создание голосового аудио для приложений

Dia — англоязычная модель Nari Labs для реалистичного синтеза диалоговой речи с управлением голосом и эмоциями по аудиоусловию.

Подходит для: синтез английских диалогов с двумя говорящими · озвучивание текста выразительной речью · клонирование голоса по образцу аудио

Модель Canopy Labs на основе Llama для выразительного синтеза английской речи с потоковой генерацией, управлением эмоциями и клонированием голоса.

Подходит для: синтез английской речи для голосовых интерфейсов · потоковое озвучивание текста в реальном времени · создание выразительной речи с заданной эмоцией и интонацией

Немецкоязычная модель Canopy Labs на базе Orpheus и Llama для выразительного синтеза речи, потоковой генерации и клонирования голоса.

Подходит для: озвучивание немецкого текста естественной речью · потоковая генерация речи для приложений с низкой задержкой · управление эмоциями и интонацией речи с помощью тегов

LTX-2.5-Diffusers — веса модели Lightricks для генерации синхронизированных видео и аудио по тексту и визуальным условиям.

Подходит для: генерация видео по текстовому описанию · создание видео по изображению или видеореференсу · генерация синхронизированного звука и видео

Auralis — производная от Coqui XTTS-v2 многоязычная модель AstraMind.ai для синтеза речи из текста и клонирования голоса по короткому аудиофрагменту.

Подходит для: создание аудиокниг из электронных книг · озвучивание подкастов и видеороликов · синтез речи на нескольких языках

Двуязычная модель Breeze для потокового синтеза английской и китайской речи, клонирования голоса и управления его подачей.

Подходит для: озвучивание английского текста с потоковой выдачей аудио · озвучивание китайского текста · клонирование голоса по аудиозаписи и точной расшифровке

Orpheus 3B — англоязычная Llama-модель CanopyAI для выразительного синтеза речи, потокового озвучивания и клонирования голоса.

Подходит для: озвучивание текста естественным голосом · потоковая генерация речи в реальном времени · управление эмоциями и интонацией в синтезированной речи

Вокодер HiFi-GAN для преобразования акустических представлений SpeechT5 в аудио при синтезе речи и конвертации голоса.

Подходит для: синтез аудио из представлений речи SpeechT5 · озвучивание текста в связке с моделью SpeechT5 · преобразование голоса в конвейере SpeechT5

Модель синтезирует длинные выразительные разговорные аудиозаписи на английском и китайском языках с участием до четырёх говорящих.

Подходит для: создание многосторонних подкастов по текстовому сценарию · озвучивание длинных диалогов несколькими голосами · генерация разговорных аудиоматериалов для исследований синтеза речи

Небольшая VITS-модель, синтезирующая женскую речь на дивехи из текста, записанного письмом тхана.

Подходит для: озвучивание текстов на дивехи женским голосом · создание синтетической речи на дивехи для аудиоконтента · генерация речевых примеров для приложений на дивехи

Многоязычная трансформерная модель Zyphra для синтеза выразительной речи, клонирования голоса и управления звучанием по тексту и аудиореференсу.

Подходит для: синтез речи на английском, японском, китайском, французском и немецком языках · клонирование голоса по короткой записи говорящего · генерация речи с заданными темпом и высотой тона

VibeVoice-1.5B-hf синтезирует длинные выразительные разговоры и подкасты на английском и китайском языках с участием нескольких голосов.

Подходит для: создание длинных подкастов по сценарию · синтез диалога между несколькими персонажами · озвучивание текста на английском и китайском языках

DMD2 — дистиллированная модель для быстрой генерации изображений по текстовым запросам за один или четыре шага.

Подходит для: генерация изображений по текстовому описанию · быстрый синтез изображений за один шаг · генерация изображений в четыре шага

Базовая модель Boson AI для выразительного многоязычного синтеза речи, клонирования голоса и генерации диалогов по тексту.

Подходит для: синтез эмоциональной речи по тексту · озвучивание текста с адаптацией интонации и просодии · генерация диалогов с несколькими говорящими

SSD-1B — ускоренная диффузионная модель Segmind для генерации изображений по текстовым описаниям.

Подходит для: создание иллюстраций по текстовому промпту · быстрая генерация концепт-арта и дизайнов · подготовка визуальных материалов для обучения

Безусловная диффузионная модель DDPM для генерации изображений без текстового запроса.

Подходит для: генерация изображений без текстового условия · создание образцов изображений для прототипов и экспериментов · изучение и запуск диффузионных моделей через Diffusers

Dia — англоязычная модель Nari Labs для реалистичного синтеза речи и диалогов с управлением голосом, интонацией и невербальными звуками.

Подходит для: озвучивание диалогов с несколькими говорящими · синтез английской речи по сценарию · генерация реплик с заданной интонацией и эмоцией по аудиопримеру

TADA-3B-ml — мультиязычная модель Hume AI для авторегрессионного синтеза речи из текста с выравниванием речевых фрагментов по текстовым токенам.

Подходит для: синтез английской речи по тексту · синтез речи на арабском, китайском и европейских языках · генерация продолжения речи по аудиопромпту

SoulX-Singer синтезирует реалистичное пение голосами новых исполнителей с управлением мелодией, нотами MIDI, ритмом и выразительностью.

Подходит для: создание вокальной партии по тексту и мелодии · синтез пения голосом ранее не встречавшегося исполнителя · генерация вокала с заданным контуром F0

Официальная версия ACE-Step v1.5 XL Turbo в формате Diffusers для генерации музыки по текстовому описанию.

Подходит для: создание музыкального фрагмента по текстовому запросу · генерация фоновой музыки для видео · создание музыкальных идей для композиции

Диффузионная DDPM-модель для безусловной генерации изображений лиц CelebA-HQ размером 256×256.

Подходит для: генерация синтетических изображений лиц без текстового запроса · создание выборок лиц для экспериментов с генеративными моделями · изучение диффузионной генерации изображений через Diffusers