F5-TTS — модель для синтеза речи по тексту, доступная в нескольких вариантах чекпойнтов.

Подходит для: озвучивание текстов · создание речевых дорожек для видео · генерация голосовых сообщений

Мультиязычная модель Facebook AI для извлечения речевых представлений, предназначенная для дообучения под распознавание речи, перевод и классификацию.

Подходит для: дообучение системы распознавания речи · дообучение перевода речи · классификация речевых сигналов

Модель HuBERT Large, дообученная на 960 часах LibriSpeech, распознаёт английскую речь в аудио с частотой дискретизации 16 кГц.

Подходит для: транскрибирование англоязычных аудиозаписей · распознавание речи из аудио с частотой 16 кГц · создание текстовых расшифровок лекций и выступлений на английском

Вокодер HiFi-GAN для преобразования акустических представлений SpeechT5 в аудио при синтезе речи и конвертации голоса.

Подходит для: синтез аудио из представлений речи SpeechT5 · озвучивание текста в связке с моделью SpeechT5 · преобразование голоса в конвейере SpeechT5

Потоковая модель Kyutai синтезирует английскую и французскую речь из текста с низкой задержкой и поддерживает обусловливание голоса готовыми эмбеддингами.

Подходит для: синтез речи по мере поступления текста · озвучивание диалоговых систем с низкой задержкой · генерация английской речи из текста

E2-TTS — модель синтеза речи из текста с поддержкой zero-shot сценария.

Подходит для: синтез речи по тексту · zero-shot озвучивание текста · создание голосового аудио для приложений

Модель Canopy Labs на основе Llama для выразительного синтеза английской речи с потоковой генерацией, управлением эмоциями и клонированием голоса.

Подходит для: синтез английской речи для голосовых интерфейсов · потоковое озвучивание текста в реальном времени · создание выразительной речи с заданной эмоцией и интонацией

Англоязычная модель UniSpeech-Large для получения речевых представлений, которую нужно дообучить для распознавания речи или классификации аудио.

Подходит для: дообучение для распознавания английской речи · адаптация речевой модели к классификации аудио · исследование переноса речевых представлений между языками

Набор моделей Core ML для распознавания речи и определения говорящих в аудиозаписях на устройствах Apple.

Подходит для: распознавание речи в аудиозаписях · определение говорящих в разговоре · диаризация записей встреч и интервью

Предварительно обученная многоязычная речевая модель Wav2Vec2 для адаптации к распознаванию речи, переводу и классификации аудио.

Подходит для: дообучение для распознавания речи на редком языке · адаптация речевой модели для перевода аудио · классификация речевых записей после дообучения

Потоковая модель NVIDIA для разметки аудиозаписи по говорящим в разговорах с максимум четырьмя участниками.

Подходит для: диаризация речи в онлайн-разговорах · определение говорящих в записях встреч · разметка длинных аудиозаписей по участникам

Модель DF Arena 1B классифицирует аудиозаписи, выявляя поддельную речь, пение и окружающие звуки.

Подходит для: проверка аудиозаписей на синтетическую или подменённую речь · выявление дипфейкового пения · обнаружение поддельных звуков окружающей среды

Модель синтезирует длинные выразительные разговорные аудиозаписи на английском и китайском языках с участием до четырёх говорящих.

Подходит для: создание многосторонних подкастов по текстовому сценарию · озвучивание длинных диалогов несколькими голосами · генерация разговорных аудиоматериалов для исследований синтеза речи

Компактная модель WeSpeaker на базе ResNet34 создаёт эмбеддинги голоса для верификации говорящего и диаризации аудио.

Подходит для: сравнение голосов для проверки личности говорящего · группировка фрагментов аудиозаписи по говорящим · извлечение голосовых эмбеддингов для поиска похожих голосов

Модель Facebook на базе Wav2Vec2 определяет, на каком из 256 языков говорят в аудиозаписи.

Подходит для: определение языка речи в аудиозаписи · автоматическая маршрутизация многоязычных звонков · сортировка речевых данных по языкам

Ultravox v0.5 — речевая языковая модель Fixie.ai, которая понимает аудио и текст и генерирует текст для голосовых агентов, анализа речи и перевода.

Подходит для: создание голосового агента, отвечающего на голосовые сообщения · транскрибирование речи в текст · анализ содержания spoken audio

Англоязычная модель ESPnet JETS в формате ONNX для преобразования текста в речь.

Подходит для: озвучивание английского текста в приложении · создание аудиоверсий текстового контента · добавление синтеза речи в конвейер txtai

Компактная модель Soprano на базе Qwen3 для быстрого синтеза выразительной английской речи из текста.

Подходит для: озвучивание английских текстов в приложении · локальное преобразование текста в речь · потоковая генерация речи для воспроизведения

Многоязычная модель NVIDIA, которая озвучивает текст пятью голосами на двенадцати языках.

Подходит для: озвучивание книг и статей на нескольких языках · генерация реплик для голосового агента · дубляж и локализация видеоконтента

Модель Facebook на базе Transformer для транскрибации английской речи с частотой дискретизации 16 кГц.

Подходит для: транскрибация английской речи из аудиозаписей · распознавание речи в записях с частотой 16 кГц · оценка качества ASR на тестовых наборах LibriSpeech

Нерекуррентная англоязычная модель FastSpeech2Conformer быстро синтезирует речь из текста.

Подходит для: синтез английской речи из текста · озвучивание коротких текстовых сообщений · создание речевых дорожек для приложений

Модель SpeechBrain на основе TDNN извлекает x-vector эмбеддинги речи для верификации и идентификации говорящего.

Подходит для: сравнение голосов в двух аудиозаписях · проверка личности говорящего по голосу · извлечение голосовых эмбеддингов для поиска похожих голосов

Англоязычная CTC-модель Microsoft для транскрибирования речи, дообученная на 100 часах LibriSpeech.

Подходит для: транскрибирование английских аудиокниг · распознавание английской речи в аудиозаписях · получение текстовой расшифровки речи с частотой 16 кГц

Англоязычная модель FastSpeech2Conformer с HiFi-GAN для быстрого преобразования текста в речь.

Подходит для: озвучивание англоязычных текстов · создание речевых аудиофайлов из текста · генерация голоса для приложений и демонстраций