I.7Речь, диалоги и встречи

omniASR-CTC-300M-v2-Zulu-All-v2 — модель распознавания речи на базе Wav2Vec2 с архитектурой CTC, преобразованная из чекпойнта OmniLingual fairseq2 omniASR_CTC_300M_v2. Она принимает аудио и выдаёт распознанную речь в виде текста; выходной слой формирует CTC-логиты по словарю SentencePiece. Модель предназначена для многоязычной транскрибации речи. В конфигурации указаны 24 слоя энкодера и размер скрытого представления 1024; число параметров по метаданным — 413,2 млн. Совпадение численных выходов с исходным чекпойнтом fairseq2 подтверждено на одном отложенном аудиопримере с допуском atol=1e-4. Репозиторий использует формат safetensors и библиотеку Transformers. В карточке не названы конкретные поддерживаемые языки, поэтому их нельзя перечислить. Лицензия в предоставленных данных не указана.

bezzam/omniasr-llm-300m-v2 — версия модели семейства OmniASR LLM-ASR v2, размещённая пользователем bezzam и основанная на разработанной командой Omnilingual ASR модели Meta. Предназначена для автоматического распознавания речи: на вход подаётся аудио, на выходе получается текстовая транскрипция; доступна опциональная языковая подсказка. Семейство OmniASR создано для многоязычного распознавания, включая языки с ограниченными обучающими данными. Архитектура — энкодер-декодер: речевой энкодер на основе wav2vec 2.0 соединён с декодером, вдохновлённым LLM. Вариант 300M v2 содержит около 1,63 млрд параметров и относится к моделям с ограниченной длиной аудио; для более длинных записей в семействе есть отдельная версия Unlimited. Репозиторий автора содержит веса safetensors, а официальный проект сообщает о поддержке более 1600 языков в семействе OmniASR. Версия v2 относится к выпуску контрольных точек с улучшенной точностью распознавания по сравнению с ранними LLM-ASR моделями семейства. Omnilingual ASR и его модели выпущены под лицензией Apache 2.0. Конкретные оценки качества и ограничения этой HF-перепубликации отдельно в карточке не описаны; общие результаты семейства нельзя считать гарантией для каждого языка или аудиозаписи.

Moondream Parakeet Redux — компактная модель автоматического распознавания речи, созданная на основе Parakeet-TDT-0.6B-v3 от NVIDIA. Она сохраняет исходную архитектуру и токенизатор, но веса энкодера представлены значениями −1, 0 и +1 (1,58 бита); размер весов — 178 МБ. Для запуска README рекомендует Photon, который использует AVX-512 VNNI на x86, NEON на ARM и Metal на Apple-устройствах. Модель предназначена для преобразования речи в текст, включая многоязычные записи и длинные аудио. Встроенная голова определения речевой активности помогает Photon разделять длинные записи на фрагменты до 30 секунд. В опубликованных сравнениях Redux близка к исходной модели на английском, показывает лучшие результаты на FLEURS и длинных выступлениях, но сильнее теряет точность при фоновом шуме. Заявленные скорости зависят от оборудования и среды Photon. В карточке указана лицензия CC-BY-4.0. Модель поддерживает 25 языков, включая русский; метаданные перечисляют языковые коды для 23 из них.

Parakeet-TDT 0.6B v3 — многоязычная модель распознавания речи NVIDIA NeMo, опубликованная loom-ai-org в формате GGUF для запуска через loom.cpp и loom-py-rt. Репозиторий содержит экспорт исходной модели nvidia/parakeet-tdt-0.6b-v3; README указывает, что веса не изменены. Модель преобразует аудио в текст и предназначена для автоматической транскрипции речи на 25 языках, включая русский, английский, испанский, французский и немецкий. Для использования требуется loom-py-rt; экспорт включает графы модели и необходимые компоненты для запуска. Репозиторий распространяется по лицензии CC BY 4.0.

nvidia/parakeet-tdt-0.6b-v3 — модель автоматического распознавания речи, разработанная NVIDIA. Она преобразует аудиозаписи в текст и предназначена для транскрибации речи в приложениях, работающих с аудио, включая записи встреч, выступлений и других разговорных сценариев. Модель интегрируется с Transformers и обучалась с использованием наборов данных NVIDIA Granary и nemo/asr-set-3.0. Модель содержит около 0,6 млрд параметров и использует архитектуру FastConformer/Conformer с компонентами Transformer и TDT (Token-and-Duration Transducer). Поддерживается широкий набор языков, включая английский, испанский, французский, немецкий, русский, украинский и другие европейские языки. В README не указана длина контекста. На тестах заявлены значения WER от 1,93% на LibriSpeech clean до 20,7% на греческом варианте FLEURS; качество зависит от языка и акустических условий. Ограничения по шуму, качеству записи и доменной адаптации отдельно не описаны. Лицензия — CC BY 4.0.

OpenASR/parakeet-tdt-0.6b-v3 — локальная мультиязычная модель автоматического распознавания речи, разработанная NVIDIA и упакованная проектом OpenASR в формат .oasr. Она предназначена для преобразования аудио в текст на CPU и GPU, включая транскрибацию записей и потоков. Модель автоматически определяет язык речи и поддерживает 25 европейских языков: болгарский, хорватский, чешский, датский, нидерландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, испанский, шведский, русский и украинский. Модель содержит около 600 млн параметров и сочетает энкодер FastConformer с декодером Token-and-Duration Transducer (TDT), который предсказывает длительность токенов и пропускает соответствующее число аудиокадров. Это повышает скорость декодирования и обеспечивает нативные временные метки слов. Обучение на корпусах Granary и NeMo ASR Set 3.0 позволило сохранять пунктуацию и регистр в расшифровке. Доступны варианты fp16, q8_0 и q4_k; сборка q8_0 рекомендована как компромисс между качеством и размером, а q4_k — для устройств с ограниченной памятью. Сильные стороны модели — поддержка большого числа европейских языков, автоматическое определение языка, высокая скорость локального инференса, временные метки слов и работа без Python во время выполнения. Ограничения включают специализацию только на распознавании речи и отсутствие данных о точности для всех языков и сценариев в представленном README. Модель и производные пакеты распространяются по лицензии CC-BY-4.0, требующей указания авторства NVIDIA.

Parakeet TDT v3 0.6B CoreML — мультиязычная модель автоматического распознавания речи, разработанная FluidInference на основе nvidia/parakeet-tdt-0.6b-v3. Модель преобразована в формат Core ML для платформ Apple и предназначена для полностью локальной транскрипции аудиофайлов, диктовки, создания заметок и встраивания распознавания речи в приложения через Swift-фреймворк FluidAudio. Модель использует архитектуру FastConformer-TDT (Token Duration Transducer) и содержит около 0,6 млрд параметров. Она принимает монофонический аудиосигнал с частотой 16 кГц в формате Float32 PCM и поддерживает 25 европейских языков: английский, испанский, французский, немецкий, болгарский, хорватский, чешский, датский, нидерландский, эстонский, финский, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, шведский, русский и украинский. Используется смешанная точность, оптимизированная для выполнения на ANE и CPU. К сильным сторонам относятся высокая скорость пакетной обработки, низкая задержка, автономная работа без сетевых запросов после загрузки моделей и повышенная приватность данных. На M4 Pro заявлен показатель около 110x RTF в пакетном режиме, однако фактическая производительность зависит от устройства, длительности аудио и выбранных вычислительных блоков. Основное ограничение — специализация на европейских языках, поэтому качество для других языков не заявлено и может снижаться. В метаданных указана лицензия CC BY 4.0, тогда как в тексте README также упоминается Apache 2.0 для репозитория FluidAudio; условия для конкретных артефактов следует уточнять отдельно.

FluidInference/parakeet-tdt-0.6b-v3-ov — версия NVIDIA Parakeet TDT V3, оптимизированная FluidInference для OpenVINO. Это модель автоматического распознавания речи на базе FastConformer-RNNT; в README указано 1,1 млрд параметров и конвейер из четырёх моделей. Она предназначена для транскрибации аудио на процессорах и NPU Intel, поддерживает 24 европейских языка и обрабатывает речь фрагментами по 10 секунд с перекрытием в 3 секунды. Среди возможностей — сохранение состояния LSTM между фрагментами, удаление повторяющихся токенов и временные метки для токенов. В тестах README приведены средний WER 3,7% на LibriSpeech test-clean и 17,0% на многоязычном FLEURS; результаты зависят от языка и оборудования. Лицензия CC BY 4.0. В метаданных базовой моделью указана nvidia/parakeet-tdt-0.6b-v3, однако README называет базовой моделью nvidia/parakeet-tdt-1.1b, а также расходится с метаданными по размеру и списку языков.

Parakeet TDT+CTC 1.1B GGUF — это модель автоматического распознавания речи для транскрибации английской речи, разработанная NVIDIA NeMo и преобразованная в формат GGUF с поддержкой ggml проектом CrispStrobe/CrispASR. Модель предназначена для локальной обработки аудио через CrispASR, включая получение текста с регистром букв, пунктуацией и временными метками слов. Она принимает монофоническое аудио 16 кГц. Модель содержит около 1,1 млрд параметров и использует 42-слойный энкодер FastConformer, 2-слойный LSTM-предиктор, гибридные TDT- и CTC-головы, а также словарь из 1024 SentencePiece-токенов для английского языка. TDT является режимом декодирования по умолчанию и обеспечивает временные метки слов; CTC доступен как альтернативный режим, в частности для shallow-fusion и смещения распознавания по ключевым словам. Доступны варианты F16, Q8_0 и Q4_K, причём Q4_K рекомендуется как вариант по умолчанию благодаря меньшему размеру около 810 МБ, а F16 обеспечивает наивысшую скорость среди указанных вариантов. Сильные стороны модели — крупный энкодер, гибридное декодирование, корректный регистр и пунктуация, а также возможность локального запуска в компактных квантизованных форматах. Ограничение — поддерживается только английский язык; по сравнению с чистой TDT-версией некоторые квантизованные варианты работают медленнее из-за совместной поддержки TDT и CTC. Модель распространяется по лицензии CC-BY-4.0, унаследованной от исходной модели NVIDIA; репозиторий содержит только конвертацию и квантизацию весов.

beshkenadze опубликовал преобразованный вариант многоязычной модели распознавания речи Parakeet Ultra в формате MLX fp16 для использования с mlx-audio-swift. В основе лежит moondream/parakeet-ultra — постобученная Moondream модель nvidia/parakeet-tdt-0.6b-v3 с той же архитектурой и словарём; репозиторий содержит веса safetensors. При преобразовании тензоры переименованы и приведены к раскладке MLX, голова VAD удалена, а веса приведены к fp16. Модель предназначена для транскрибирования аудио, в том числе русской речи. В тестах README она показала меньший WER, чем Parakeet TDT v3 fp16 на FLEURS для 13 языков и на наборе русских записей, а также на пятиминутной записи совещания. Эти результаты относятся к описанным тестовым наборам и конвейеру Silero VAD с mlx-audio-swift. Лицензия репозитория — CC BY 4.0.

Parakeet-unified-en-0.6b — англоязычная модель распознавания речи от NVIDIA для офлайн- и потоковой транскрибации. Она принимает монофоническое аудио в формате WAV и выдаёт английский текст с пунктуацией и заглавными буквами. Модель построена на архитектуре Unified FastConformer-RNNT: энкодер FastConformer содержит 24 слоя, а декодер использует RNNT. В ней около 600 млн параметров. Офлайн- и потоковый режимы обучены совместно и используют общие параметры; для потоковой работы применяется обработка аудио чанками с настраиваемым левым, средним и правым контекстом. Заявленная задержка зависит от размера чанка и правого контекста: в приведённых настройках она составляет от 0,08 до 2,08 секунды. По приведённым оценкам WER модель показывает сильные результаты в офлайн-режиме и при потоковой задержке до 240 мс; при 160 мс качество начинает снижаться, а для 80 мс авторы рекомендуют другую модель. Для потокового распознавания нужны инструменты NVIDIA NeMo. В карточке указано, что пока доступен инференс, а обучающий конвейер планируется выпустить позднее. Лицензия обозначена как other; конкретные условия следует сверить с файлами лицензии репозитория.

Это контрольная точка модели BigBird-Pegasus, разработанная Immich для суммаризации встреч. Она обучена на подходящей части AMI Meeting Corpus с seed обучения 42 и относится к варианту baseline для обработки полной встречи либо иерархического конвейера сегментации, извлечения и генерации. Модель предназначена для создания краткого содержания диалога встречи; архитектура — BigBirdPegasusForConditionalGeneration, размер — 366,8 млн параметров, контекст — 4096 токенов. Принимает текст и выдаёт текст.

Карточка модели Jinstudio/Qwen3-ASR-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

cstr/qwen3-asr-0.6b-GGUF — GGUF/ggml-квантизированные версии модели Qwen3-ASR 0.6B, разработанной Alibaba и адаптированные для запуска через CLI qwen3-asr-main из проекта CrispStrobe/CrispASR. Модель предназначена для автоматического распознавания речи и транскрибации аудиозаписей с автоматическим определением языка. Она поддерживает 30 языков, включая русский, английский, немецкий, французский, китайский и другие, а также 22 китайских диалекта. Это speech-LLM с Whisper-подобным аудиоэнкодером: 2D-свёрточный subsampler, 18-слойный Transformer и projector преобразуют аудио в представления размерности 1024, после чего их обрабатывает Qwen3 0.6B — 28-слойная языковая модель с GQA, SwiGLU и RoPE. Доступны варианты F16, Q8_0, Q4_K и Q3_K с размерами примерно от 531 МБ до 1,88 ГБ. Вариант Q4_K рекомендован как компромисс между размером, скоростью и качеством и на 4-ядерном CPU работает немного быстрее реального времени на указанном тестовом аудио. Для длинных записей предпочтительнее обычные Q4_K или Q8_0; варианты с importance matrix могут на длинном аудио переходить в повторяющиеся фрагменты. Модель сильна многоязычным распознаванием, компактностью, работой на CPU и отсутствием необходимости в torch, librosa или scipy во время инференса: необходимые mel-фильтры встроены в GGUF. Заявленный средний показатель составляет 6,42% WER на Open ASR Leaderboard, однако производительность и качество зависят от варианта квантизации и характеристик аудио. Для штатного запуска требуется 16 кГц, моно, 16-битный PCM WAV; другие форматы нужно предварительно конвертировать. Модель распространяется по лицензии Apache-2.0.

Qwen3-ASR-1.7B-hf — плотная модель распознавания речи семейства Qwen3-ASR от команды Qwen. Она принимает аудио и преобразует речь в текст, одновременно поддерживая определение языка; работает с потоковой и офлайн-обработкой, длинными аудиозаписями и пакетной транскрибацией. Модель основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров. Модель предназначена для распознавания речи на 30 языках и диалектах, включая русский, английский, китайский и кантонский, а также китайские региональные диалекты. В README также заявлена поддержка пения и песен с фоновой музыкой. Можно указать язык распознавания и передать контекст или ключевые слова, чтобы улучшить распознавание терминов и имён. Для временных меток слов предусмотрена отдельная модель Qwen3-ForcedAligner; это не функция данного чекпойнта. В README модель характеризуется как высокоточная и устойчивая к сложной акустической обстановке; приведены результаты оценки на наборе речевых тестов. Репозиторий использует Transformers и формат safetensors. Лицензия Apache-2.0.

Карточка модели freeuser17/Qwen3-ASR-1.7B-Uncensored на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Это копия мультимодальной модели Qwen3-Omni, опубликованная chibifire в формате safetensors для Transformers. В README указана исходная модель Qwen/Qwen3-Omni-30B-A3B-Instruct; архитектура использует схему Mixture of Experts Thinker-Talker. Модель принимает текст, изображения, аудио и видео, а выдаёт потоковые текстовые ответы и речь. Она предназначена для многоязычных мультимодальных диалогов и задач, где нужно совместно понимать разные типы входных данных и отвечать текстом или голосом. Репозиторий содержит веса, конфигурации модели и генерации, шаблон чата, конфигурацию препроцессора и токенизатор. Лицензия — Apache-2.0. README направляет за инструкциями по установке и вариантами голосов к карточке исходной модели; размер контекста и перечень поддерживаемых языков в предоставленных данных не приведены.

Карточка модели mlinmg/Qwen3-Omni-30B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

Карточка модели speakguru/Qwen3-Omni-30B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

Карточка модели Umbasa/Qwen3-Omni-30B-A3B-Instruct-UMBASA-V1 на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

Карточка модели Koulano/Qwen3-Omni-30B-A3B-Thinking на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

Карточка модели Umbasa/Qwen3-Omni-30B-A3B-Thinking-UMBASA-V1 на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

Rev AI Reverb Diarization V1 — модель на базе pyannote-audio для диаризации речи в аудиозаписях: она определяет, кто и когда говорит. По данным карточки, модель улучшает относительную Word Diarization Error Rate на 16,5% по сравнению с базовой pyannote 3.0; оценка проводилась на более чем 1,25 млн токенов в пяти тестовых наборах. Для запуска используется Pipeline из pyannote.audio и аудиофайл. Модель распространяется в формате PyTorch; лицензия обозначена как other, поэтому условия использования следует уточнить в карточке Hugging Face. Указанные в README значения WDER относятся к наборам earnings21 и rev16; других характеристик качества и поддерживаемых языков карточка не приводит.

SeaLLMs-Audio-7B — мультимодальная аудиоязыковая модель семейства SeaLLMs, разработанная для языков Юго-Восточной Азии. Она построена на Qwen2-Audio-7B с заменой языковой модели на Qwen2.5-7B-Instruct и полным дообучением на 1,58 млн диалогов с аудио и текстом. В метаданных указана архитектура Qwen2-Audio и формат safetensors. Модель принимает аудио, текст или их сочетание и предназначена для распознавания речи, описания аудио, перевода речи в текст, анализа эмоций, ответов на вопросы по аудио, краткого пересказа и голосового общения. Основные языки — индонезийский, тайский и вьетнамский, также поддерживаются английский и китайский. Разработчики сообщают о результатах на собственном бенчмарке SeaBench-Audio; руководство по эксплуатации включает Transformers и vLLM. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой модели. README не приводит явных ограничений качества или безопасного применения.

OpenASR/sensevoice-small — компактная модель автоматического распознавания речи, созданная командой FunAudioLLM компании Alibaba и перепакованная проектом OpenASR в формат .oasr для нативного выполнения. Модель предназначена для преобразования речи в текст, включая полностью локальную и офлайн-транскрипцию на CPU и GPU без Python во время инференса. SenseVoice Small использует быструю неавторегрессионную архитектуру и обучена более чем на 400 000 часах аудио. Она автоматически определяет язык и ориентирована на мандаринский китайский, кантонский, английский, японский и корейский языки. В исходной модели также заявлены распознавание эмоций и аудиособытий, однако в пакетах OpenASR сейчас доступна только обычная транскрипция речи. Для модели предлагаются варианты fp16 размером около 470 МБ, q8_0 — 252 МБ и q4_k — 136 МБ; квантованные версии подходят для устройств с ограниченной памятью. По данным разработчиков, инференс значительно быстрее Whisper-Large, а модель особенно сильна в китайской и кантонской речи, однако приведённые показатели точности относятся к исходной модели и отдельным открытым бенчмаркам. Пакеты распространяются по лицензии FunASR Model License v1.1, унаследованной от исходной модели. Лицензия разрешает коммерческое использование при сохранении требуемой атрибуции и уведомлений об авторских правах.

cstr/sensevoice-small-GGUF — GGUF-квантизированная версия SenseVoiceSmall, разработанной Alibaba и опубликованной под брендом FunAudioLLM. Модель предназначена для автоматического распознавания речи и запуска через backend sensevoice в CrispASR. Помимо транскрипции, она определяет язык речи, эмоцию, аудиособытия и режим текстовой нормализации. Это многозадачная encoder-only ASR-модель с 70-блочным SANM-энкодером, четырьмя головами и CTC-выходом на 25 055 SentencePiece-токенов. Архитектура использует четыре query embedding для языка, аудиособытий, эмоций и нормализации текста. Поддерживается более 50 языков с нативной идентификацией; в карточке явно указаны китайский, кантонский, английский, японский и корейский. Модель неавторегрессионная и, по данным README, значительно быстрее Whisper-Large: около 70 мс на 10 секунд аудио в измерениях upstream. Доступны варианты F16 размером 448 МБ, Q8_0 размером 240 МБ и Q4_K размером 129 МБ; Q4_K рекомендован как вариант по умолчанию. Квантизация сохраняет идентичные транскрипции на проверенных английских и японских примерах, однако возможны изменения на пограничных случаях классификации эмоций. Модель ориентирована на локальный инференс и эффективное распознавание речи, но README не приводит подробных оценок качества по языкам и сценариям. Файлы наследуют FunASR Model License v1.1 для весов; коммерческое использование разрешено с указанием авторства. Код upstream-пакета funasr распространяется по Apache-2.0. При использовании требуется атрибуция Alibaba/FunAudioLLM; репозиторий содержит только конвертацию и квантизацию исходных весов без дообучения или изменения архитектуры.

Soundwave — модель семейства Soundwave от FreedomIntelligence для взаимодействия с речью и текстом. Она предназначена для преобразования аудиовхода в текстовые ответы, включая перевод речи и задачи понимания речи; также поддерживает диалоговые сценарии и сохраняет способности языковой модели в разговоре. По карточке, модель использует плотную архитектуру SoundwaveForCausalLM, содержит 7,5 млрд параметров и обучалась на 10 тысячах часов данных. Метаданные указывают контекст до 131 072 токенов, формат весов safetensors и интерфейс для вызова инструментов. Поддерживается английский язык. Модель распространяется по лицензии Apache-2.0. README заявляет высокие результаты на задачах перевода речи и AIR-Bench, но численные результаты и подробные ограничения в предоставленных материалах не приведены.

Step-Audio 2 mini — компактная мультимодальная языковая модель для понимания аудио и диалогового взаимодействия с речью, разработанная StepFun AI. Модель предназначена для распознавания речи, анализа аудиособытий и паралингвистических признаков, речевого перевода и естественного голосового общения. Она также поддерживает вызов инструментов и мультимодальный RAG для обращения к текстовым и акустическим источникам знаний. Модель построена на плотной архитектуре StepAudio2ForCausalLM и рассчитана на работу с текстом и аудио; в README заявлены сценарии аудио- и речевого общения, а метаданные указывают поддержку английского и китайского языков. Репозиторий содержит веса safetensors и ONNX, использовать модель можно через Transformers. Лицензия Apache 2.0. README заявляет сильные результаты на нескольких аудио-бенчмарках, однако численные результаты здесь недоступны; для локального запуска также указаны требования PyTorch и CUDA.

NVIDIA Conformer-Transducer Large (en-US) — модель распознавания речи, разработанная NVIDIA и предназначенная для работы в инструментарии NeMo. Она преобразует монофоническую английскую речь в текст в нижнем регистре; входной формат — аудио WAV с частотой 16 кГц. Модель построена на архитектуре Conformer-Transducer, использует авторегрессионное декодирование и обучена с функцией потерь Transducer. Размер — около 120 млн параметров. Для обучения использован составной набор англоязычных речевых данных, включая LibriSpeech, Fisher, Switchboard, VoxPopuli, Common Voice и People’s Speech. В README приведены результаты WER для нескольких тестовых наборов. Модель подходит для транскрибации аудиозаписей и может использоваться как предварительно обученный чекпойнт для дообучения на других данных. Её ограничения включают возможное ухудшение качества на технической лексике, непривычной разговорной речи и речи с акцентом. Лицензия — CC BY 4.0.

NVIDIA разработала FastConformer-Hybrid Large (en) для автоматического распознавания английской речи. Модель принимает монофоническое аудио WAV с частотой 16 кГц и возвращает расшифровку текстом; её можно использовать для транскрибирования записей или дообучить на другом наборе данных с помощью NeMo. Это модель семейства FastConformer примерно на 115 млн параметров. Гибридная архитектура обучена с функциями потерь Transducer и CTC, поэтому поддерживает оба режима декодирования. В обучении использован объединённый набор из нескольких тысяч часов английской речи, включая LibriSpeech, Fisher, Common Voice, VoxPopuli и другие корпуса. Текст вывода использует английские буквы, пробелы, точки, запятые и вопросительные знаки. Модель может хуже распознавать акцентированную речь, технические термины и разговорные варианты, недостаточно представленные в обучающих данных; набор пунктуации ограничен точкой, запятой и вопросительным знаком. Лицензия — CC BY 4.0.