Kokoro-82M — компактная многоязычная модель синтеза речи с несколькими голосами для локальных приложений и сервисов.
Подходит для: озвучивание текста в приложениях · создание аудиоверсий статей и документов · генерация речи для голосовых интерфейсов
YuE2-3B создаёт песни с вокалом и аккомпанементом по тексту и позволяет редактировать композицию через партитуру ABC.
Подходит для: создание песни по тексту и описанию музыкального стиля · генерация вокального трека с инструментальным аккомпанементом · переаранжировка существующей песни в новом стиле
Модель MiniMaxAI для генерации цельных песен с вокалом и аранжировкой по тексту песни и подробному описанию музыки.
Подходит для: создание песни с вокалом по заданному тексту · генерация музыкального демо в выбранном жанре и настроении · создание композиции с куплетами, припевом и бриджем
Набор моделей Whisper в формате Core ML для локального распознавания речи и транскрибации на устройствах Apple Silicon.
Подходит для: локальная транскрибация аудиозаписей на устройствах Apple · преобразование речи в текст в приложениях для Apple Silicon · распознавание речи без отправки аудио на сервер
CLAP от LAION сопоставляет аудио с текстовыми описаниями для классификации звуков без примеров и поиска аудио по тексту.
Подходит для: классификация звуков по заданным текстовым меткам без дообучения · поиск аудиозаписей по текстовому описанию · сопоставление звука с набором возможных описаний
Дистиллированная модель ACE-Step 1.5 XL Turbo генерирует музыку и аудио по текстовому описанию за 8 шагов.
Подходит для: генерация музыкального фрагмента по текстовому описанию · создание фоновой музыки для видео и игр · быстрое создание музыкальных идей и демо
Kokoro-82M-bf16 — английская модель синтеза речи в формате MLX для преобразования текста в аудио.
Подходит для: озвучивание английских текстов в приложениях на MLX · создание голосовых сообщений из текста · добавление синтеза речи в локальные приложения на Apple Silicon
Конверсия Whisper small в формат CTranslate2 для распознавания речи из аудио, в том числе с помощью faster-whisper.
Подходит для: транскрибация русскоязычных аудиозаписей · расшифровка многоязычных интервью и встреч · преобразование аудио в текст в приложениях на CTranslate2
Модель LAION CLAP сопоставляет музыкальные аудиозаписи с текстовыми описаниями и извлекает их эмбеддинги для классификации и поиска по сходству.
Подходит для: классификация музыкальных фрагментов по заданным текстовым меткам · поиск текстового описания, наиболее подходящего к аудиозаписи · извлечение эмбеддингов музыки для поиска по сходству
Дообученная Wav2Vec2-модель для распознавания японской речи в аудио с частотой дискретизации 16 кГц.
Подходит для: транскрибация японской речи из аудиозаписей · распознавание японской речи в голосовых сообщениях · создание текстовых расшифровок японских аудиоматериалов
Дообученная на польской речи модель wav2vec2 для преобразования аудиозаписей в текст.
Подходит для: транскрибация речи на польском языке · распознавание польской речи в аудиозаписях с частотой 16 кГц · подготовка текстовых расшифровок для материалов Common Voice
OmniVoice — многоязычная модель преобразования текста в речь с клонированием голоса и настройкой его характеристик.
Подходит для: озвучивание текста на разных языках · клонирование голоса по короткой аудиозаписи · создание голоса по заданным характеристикам
Немецкоязычная модель Canopy Labs на базе Orpheus и Llama для выразительного синтеза речи, потоковой генерации и клонирования голоса.
Подходит для: озвучивание немецкого текста естественной речью · потоковая генерация речи для приложений с низкой задержкой · управление эмоциями и интонацией речи с помощью тегов
MLX-версия многоязычной модели NVIDIA Parakeet-TDT-0.6B-v3 для распознавания речи и транскрибации аудио.
Подходит для: транскрибация аудиозаписей на поддерживаемых языках · преобразование русской речи в текст · распознавание речи в диктовке
Конвейер pyannote для определения говорящих и временных границ их речи в аудиозаписях, с поддержкой эксклюзивной диаризации и локальной работы.
Подходит для: разметка говорящих в интервью и подкастах · определение смены говорящих в записях совещаний · подготовка временных меток говорящих для транскрипта
Ускоренная мультиязычная модель OpenAI для распознавания речи и перевода аудио в текст.
Подходит для: расшифровка аудиозаписей на разных языках · субтитры и текстовые расшифровки видеозаписей · перевод речи на английский язык
Конвертированная версия SheetSage2 для преобразования музыкального аудио в редактируемые мелодические и аккордовые партитуры с разметкой ритма, тональности и структуры.
Подходит для: транскрибирование мелодии из музыкальной записи · извлечение аккордов из песни · определение долей и ритмической структуры композиции
Дообученная wav2vec2-модель для транскрибации нидерландской речи в текст.
Подходит для: транскрибация записей на нидерландском языке · распознавание речи из Common Voice · преобразование нидерландской речи в текст без языковой модели
Модель распознаёт индонезийскую, яванскую и сунданскую речь и преобразует аудио в текст.
Подходит для: транскрибирование записей на индонезийском языке · распознавание яванской речи · распознавание сунданской речи
XTTS-v2 от Coqui синтезирует многоязычную речь и клонирует голос по короткому аудиофрагменту.
Подходит для: озвучивание текста на одном из 17 поддерживаемых языков · клонирование голоса по короткой записи · перенос голоса на другой язык
Модель Facebook на архитектуре wav2vec 2.0 для транскрибирования английской речи из аудио с частотой 16 кГц.
Подходит для: транскрибирование английских аудиозаписей · распознавание английской речи из файлов с частотой 16 кГц · получение текстовых расшифровок записей речи
Модель wav2vec2 для преобразования арабской речи в текст, дообученная на Common Voice 6.1 и Arabic Speech Corpus.
Подходит для: транскрибирование записей арабской речи · распознавание арабской речи в аудиофайлах · создание субтитров к арабским аудиозаписям
Модель настраивает совместимый с Kokoro-82M голосовой пакет по короткому образцу речи для последующего синтеза речи с клонированным голосом.
Подходит для: создание голосового профиля по записи одного говорящего · клонирование английского голоса для озвучивания нового текста · настройка тембра речи в Kokoro-82M
Дообученная wav2vec2-модель распознаёт греческую речь и преобразует аудио с частотой 16 кГц в текст.
Подходит для: транскрибация записей на греческом языке · распознавание греческой речи в аудиофайлах · подготовка текстовых субтитров для греческой речи