Модель audEERING на основе Wav2Vec2 оценивает возраст и гендерную категорию говорящего по аудиозаписи и извлекает речевые представления.

Подходит для: оценка примерного возраста говорящего по голосу · классификация голосовой записи по категориям ребёнок, женщина или мужчина · извлечение признаков аудиозаписи для анализа речи

AuK — диффузионная модель Tencent на 1,5 млрд параметров для синтеза и редактирования речи по текстовым инструкциям.

Подходит для: синтез речи по тексту · zero-shot синтез голоса · генерация речи по инструкции

Audiobox Aesthetics — модель Meta для автоматической оценки эстетических характеристик речи, музыки и других звуков.

Подходит для: оценка качества записи речи · оценка эстетических характеристик музыки · оценка качества звуковых эффектов

Модель Wav2Vec 2.0 оценивает возбуждение, доминирование и валентность в речи по аудиосигналу.

Подходит для: оценка возбуждения и спокойствия в голосе · измерение эмоциональной валентности речи · анализ доминирования в разговоре

Auralis — производная от Coqui XTTS-v2 многоязычная модель AstraMind.ai для синтеза речи из текста и клонирования голоса по короткому аудиофрагменту.

Подходит для: создание аудиокниг из электронных книг · озвучивание подкастов и видеороликов · синтез речи на нескольких языках

Модель на основе Wav2Vec2 оценивает возраст и вероятностную гендерную категорию говорящего по аудио.

Подходит для: оценка приблизительного возраста говорящего по голосу · классификация голоса по категориям ребёнок, женщина или мужчина · извлечение аудиопредставлений для последующего анализа речи

Wav2Small2.0 от audEERING оценивает по речи возбуждение, доминирование и валентность.

Подходит для: оценка эмоциональной окраски речи · анализ валентности, возбуждения и доминирования в аудиозаписях · разметка речевых данных для исследований эмоций

Экспериментальная языковая модель Arcee.ai с гибридным вниманием KDA и NoPE для исследований эффективности внимания и математических рассуждений.

Подходит для: исследование гибридных архитектур внимания · сравнение линейного и полного внимания · оценка памяти и KV-кэша при обработке контекста

Модель DF Arena 1B классифицирует аудиозаписи, выявляя поддельную речь, пение и окружающие звуки.

Подходит для: проверка аудиозаписей на синтетическую или подменённую речь · выявление дипфейкового пения · обнаружение поддельных звуков окружающей среды

Аудио-текстовая MoE-модель NVIDIA для понимания и генерации аудио, распознавания и перевода речи, а также текстовых рассуждений.

Подходит для: распознавание речи в аудиозаписях · ответы на вопросы по содержанию аудио · перевод речи на английский язык

VITS-модель Meta преобразует текст на языке адиукру в речь в рамках проекта MMS-TTS.

Подходит для: озвучивание текста на адиукру · создание речевых аудиоверсий материалов на адиукру · синтез речи для приложений и сервисов на адиукру

Англоязычная звуковая языковая модель на базе Llama 3.1 для понимания речи, включая диалоги и аудио с фоновым шумом.

Подходит для: ответы на вопросы по аудиозаписям · многоходовой диалог с речевым вводом · понимание английской речи в шумной среде

Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.

Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели

Предварительная аудиомодель на основе Wav2Vec2 и AASIST для классификации речи как подлинной или поддельной.

Подходит для: выявление синтетической речи в аудиозаписях · проверка аудио на подмену или спуфинг · классификация речи на подлинную и поддельную

Базовая модель Arcee AI на 6 млрд параметров с архитектурой MoE, предназначенная для дальнейшего дообучения под специализированные задачи генерации текста.

Подходит для: дообучение языковой модели под внутренние документы компании · адаптация модели для специализированного текстового ассистента · создание предметной модели генерации текста

Аудиоязыковая модель примерно на 8 млрд параметров для голосовых вопросов и ответов, понимания речи и речевого вызова функций на английском и китайском языках.

Подходит для: ответы на вопросы, заданные голосом · понимание содержания аудиозаписей · выполнение голосовых инструкций

Step-Audio-R1.1 — аудиодиалоговая модель StepFun для низколатентных разговоров с рассуждениями в реальном времени.

Подходит для: ответы на вопросы, заданные голосом · интерактивный голосовой помощник · голосовой диалог со сложными рассуждениями

Компактная модель LMMs-Lab на основе Qwen2.5-1.5B для распознавания речи, понимания аудио и выполнения аудиоинструкций.

Подходит для: транскрибация английской речи · распознавание речи в длинных аудиозаписях до 15 минут · ответы на вопросы по содержанию аудиозаписи

Исследовательская дистиллированная языковая модель Arcee.ai с KDA во всех слоях для изучения линейного внимания и генерации текста.

Подходит для: сравнение линейного внимания KDA с полным вниманием · исследование дистилляции внимания в языковых моделях · генерация текста на длинных последовательностях

UAS-Audio — мультимодальная модель на базе Qwen2.5-7B для понимания аудио, распознавания речи, аудиоописания и синтеза речи.

Подходит для: распознавание речи из аудиозаписи · ответы на вопросы по содержанию аудио · создание текстового описания звуков и музыки

AASIST3 классифицирует аудио как подлинную или поддельную речь для выявления речевых дипфейков и атак подмены голоса.

Подходит для: проверка аудиозаписи на синтетическую речь · обнаружение подмены голоса в аудиопотоке · анализ подозрительных телефонных звонков

Базовая MoE-языковая модель Aether с семью механизмами внимания для продолжения текста и исследований архитектуры.

Подходит для: продолжение текста на английском и корейском языках · бенчмаркинг базовой языковой модели · сравнение запусков архитектуры с разными механизмами внимания

Аудиомодель inclusionAI для понимания, генерации и редактирования речи по инструкциям на естественном языке.

Подходит для: понимание и анализ речевого аудио · синтез речи · редактирование речи по текстовой инструкции без указания временных отрезков

Локальная аудиоязыковая модель NexaAI на 2,6 млрд параметров для диалога и выполнения текстовых задач по голосовому вводу.

Подходит для: ответы на вопросы, заданные голосом без подключения к интернету · диалог по аудиозаписи или устному сообщению · суммаризация записей встреч и заметок