I.7Речь, диалоги и встречи

Это конвертированная в формат MLX модель MOSS-Transcribe-Diarize, опубликованная vanch007 для запуска на компьютерах Apple Silicon. Она принимает аудио и предназначена для распознавания речи с диаризацией говорящих; базовая модель также поддерживает обработку длинных записей, временные метки и аннотации акустических событий. В репозитории указаны веса safetensors, а исходную модель скачивать и конвертировать отдельно не требуется. Модель подходит для расшифровки записей с несколькими участниками и подготовки транскриптов с разделением по говорящим. Лицензия — Apache-2.0. README не приводит подробностей о поддерживаемых языках или точном формате результата.

vanch007/mlx-MOSS-Transcribe-Diarize-4bit — 4-битная квантизированная версия модели MOSS-Transcribe-Diarize, подготовленная для MLX. Она принимает аудиозаписи и предназначена для распознавания речи с разметкой говорящих. Вариант использует аффинную квантизацию MLX с 4 битами и размером группы 64 для текстового backbone; аудиоэнкодер Whisper и VQ-адаптер не квантизированы. Модель подойдёт для транскрибирования аудиофайлов и определения смены говорящих, в том числе при локальном запуске в окружении MLX. Репозиторий распространяется по лицензии Apache-2.0. В карточке и метаданных не приведены показатели точности, поддерживаемые языки, размер модели или длина контекста.

Карточка модели OpenMOSS-Team/MOSS-Audio-4B-Thinking на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-Audio-4B-Instruct, поэтому описание составлено по ней. MOSS-Audio-4B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Это вариант Instruct с аудиоэнкодером MOSS-Audio-Encoder и языковой основой Qwen3-4B; общий размер составляет около 4,6 млрд параметров. Аудио преобразуется в временные представления с частотой 12,5 Гц, которые объединяются с представлениями языковой модели для генерации текста. Модель принимает аудио и выполняет инструкции на его основе. Модель предназначена для распознавания речи с временными метками, ответов на вопросы и составления резюме по аудио, анализа говорящих, эмоций и звуковых событий, описания окружающей обстановки и понимания музыки. Архитектура с передачей признаков между слоями энкодера и временными маркерами поддерживает анализ акустических деталей и последовательности событий. В карточке семейства заявлена поддержка английского и китайского языков; результаты оценки относятся к семейству моделей и не гарантируют такое же качество именно для варианта 4B. Модель распространяется по лицензии Apache-2.0. Карточка описывает возможности семейства, но не приводит отдельные результаты оценки, требования к ресурсам или конкретные ограничения варианта 4B-Instruct.

MOSS-Audio-8B-Instruct — открытая мультимодальная модель понимания аудио от MOSI.AI, команды OpenMOSS и Shanghai Innovation Institute. Вариант Instruct предназначен для выполнения инструкций по аудиозаписям: модель принимает аудио и формирует текстовые ответы о его содержании. Модель объединяет аудиоэнкодер MOSS-Audio-Encoder, адаптер модальности и языковую модель Qwen3-8B; общий размер составляет около 8,6 млрд параметров. Архитектура использует временные маркеры и признаки аудио с нескольких слоёв энкодера. Поддерживаются задачи распознавания речи с временными метками, анализа говорящих и эмоций, описания звуковых событий и сцен, понимания музыки, ответов на вопросы и суммаризации аудио. Карточка указывает английский и китайский языки. Модель ориентирована на разбор реальных аудиозаписей и вопросов с учётом временного контекста. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. Контекстное окно и количественные результаты именно этого варианта в предоставленных данных не указаны.

Карточка модели OpenMOSS-Team/MOSS-Audio-8B-Thinking на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-Audio-4B-Instruct, поэтому описание составлено по ней. MOSS-Audio-4B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Это вариант Instruct с аудиоэнкодером MOSS-Audio-Encoder и языковой основой Qwen3-4B; общий размер составляет около 4,6 млрд параметров. Аудио преобразуется в временные представления с частотой 12,5 Гц, которые объединяются с представлениями языковой модели для генерации текста. Модель принимает аудио и выполняет инструкции на его основе. Модель предназначена для распознавания речи с временными метками, ответов на вопросы и составления резюме по аудио, анализа говорящих, эмоций и звуковых событий, описания окружающей обстановки и понимания музыки. Архитектура с передачей признаков между слоями энкодера и временными маркерами поддерживает анализ акустических деталей и последовательности событий. В карточке семейства заявлена поддержка английского и китайского языков; результаты оценки относятся к семейству моделей и не гарантируют такое же качество именно для варианта 4B. Модель распространяется по лицензии Apache-2.0. Карточка описывает возможности семейства, но не приводит отдельные результаты оценки, требования к ресурсам или конкретные ограничения варианта 4B-Instruct.

Это преобразованная сообществом mlx-community версия NVIDIA Nemotron 3.5 ASR Streaming — модели распознавания речи с архитектурой FastConformer-RNNT и примерно 600 млн параметров. Веса представлены в формате bfloat16; библиотека запуска — mlx-audio. Модель преобразует аудио в текст и рассчитана на потоковую транскрипцию. Она использует подсказку с идентификатором языка, поддерживает 40 языковых локалей, а распознанный текст оформляет с пунктуацией и заглавными буквами. Параметр размера контекста позволяет выбирать компромисс между задержкой и использованием будущего аудиоконтекста; конфигурация [56,13] рекомендована в README для наилучшей точности в офлайн-режиме. README указывает на оригинальную модель NVIDIA и её карточку как источник сведений об архитектуре и назначении. Репозиторий содержит конверсию весов в MLX, а не отдельное дообучение. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с карточкой оригинальной модели и репозитория.

NVIDIA Nemotron 3.5 ASR — мультиязычная потоковая модель автоматического распознавания речи примерно на 600 млн параметров. Она построена на архитектуре FastConformer с поддержкой кэширования и RNNT, использует библиотеку NeMo и предназначена для транскрибации аудио в текст с низкой задержкой, включая работу с несколькими одновременными потоками. Модель является развитием англоязычной nvidia/nemotron-speech-streaming-en-0.6b и поддерживает языковую идентификацию через условное промптирование. Модель заявлена для 40 языковых локалей и поддерживает английский, испанский, немецкий, французский, итальянский, арабский, японский, корейский, португальский, русский, хинди, китайский, вьетнамский, иврит, нидерландский, чешский, датский, польский, норвежский, шведский, тайский, турецкий, болгарский, греческий, эстонский, финский, хорватский, венгерский, литовский, латышский, румынский, словацкий, украинский, мальтийский и словенский. Это делает её подходящей для многоязычных сервисов расшифровки речи, субтитров и обработки аудиопотоков. В README приведены значения WER на тестах FLEURS для ряда языков, однако показатели зависят от языка и условий записи. К сильным сторонам относятся потоковая обработка, кэш-ориентированная архитектура, многоязычность и возможность автоматического определения языка. Ограничения включают специализацию на распознавании речи, зависимость качества от языка и акустических условий, а также отсутствие в предоставленных данных сведений о максимальном контексте и дополнительных модальностях. Модель распространяется по лицензии OpenMDW-1.1.

Nemotron-3.5 ASR Streaming 0.6B — мультиязычная модель автоматического распознавания речи, разработанная NVIDIA. Данная версия портирована в CoreML для локального запуска на устройствах Apple Silicon и предназначена для пакетной и потоковой транскрипции аудио. Модель поддерживает 40 языковых локалей, включая английский, немецкий, французский, русский, китайский, японский и хинди, а также выполняет пунктуацию и капитализацию. На вход подаётся монофонический звук с частотой 16 кГц. Архитектура представляет собой кэшируемый FastConformer с RNN-T и механизмом языкового кондиционирования. Модель содержит около 600 млн параметров; кодировщик состоит из 24 слоёв и квантизован в INT8, а декодер и joint-сеть используют FP16. Потоковая обработка выполняется фрагментами по 320 мс с сохранением внутренних кэшей. Размер набора на диске составляет около 612 МБ. Сильными сторонами являются низкая задержка, высокая скорость потоковой обработки и почти неизменная точность после квантизации. Ограничения включают ориентацию на экосистему CoreML и Apple Silicon, значительное потребление оперативной памяти — около 1 ГБ после загрузки и до 1,24 ГБ во время работы, — а также зависимость качества от языка и акустических условий. Модель распространяется по лицензии OpenMDW 1.1, соответствующей лицензии исходной модели NVIDIA; для исходной модели NVIDIA указана возможность коммерческого использования.

Nemotron-3.5-ASR-Streaming-0.6B GGUF — конвертация модели NVIDIA Nemotron-3.5-ASR-Streaming-0.6B в формате GGUF для использования с CrispASR. Модель предназначена для автоматического распознавания речи, включая потоковую транскрипцию аудио с низкой задержкой. Она поддерживает 39 языков и языковых вариантов, включая русский, английский, немецкий, французский, испанский, китайский, японский, корейский, арабский и другие. Модель принимает монофонический звук с частотой дискретизации 16 кГц и выполняет распознавание с нативной пунктуацией и капитализацией. Архитектура включает потоковый Cache-Aware Streaming FastConformer-энкодер из 24 слоёв с размерностью 1024 и 8 головами внимания, RNN-T-декодер на основе двухслойного LSTM со скрытым состоянием 640 и joint network со словарём из 13 088 токенов SentencePiece. Выбор языка выполняется через conditioning с использованием prompt_kernel. Поддерживаются жадный и beam search декодинг, а также четыре режима потокового контекста, позволяющие выбирать баланс между задержкой и качеством. Опубликованный WER составляет от 6,93% до 8,43% в зависимости от пресета контекста, однако эти значения не гарантируют аналогичные результаты на пользовательских данных. Доступны версии F16 размером около 1,3 ГБ и рекомендованная квантованная Q4_K размером около 458 МБ; для Q4_K заявлены примерно двукратное ускорение и идентичный текстовый результат. Модель рассчитана на использование через CrispASR и ориентирована на офлайн- и потоковые сценарии распознавания. Лицензия OpenMDW-1.1 допускает коммерческое использование. Ограничениями являются зависимость от CrispASR для заявленного сценария применения, необходимость корректно указать язык и компромисс между задержкой и точностью в потоковых режимах.

Nemotron 3 Diarization — модель NVIDIA с открытыми весами для диаризации речи: она определяет, кто и в какие моменты говорил в аудиозаписи. Модель поддерживает потоковую обработку и обработку готовых записей, в том числе длительных аудио при работе чанками, и рассчитана на записи с числом говорящих до восьми. В метаданных указана архитектура Nemotron3DiarizationForAudioFrameClassification и библиотека NeMo; доступны веса в safetensors и квантованный вариант GGUF Q8_0. Модель подходит для разметки реплик в интервью, совещаниях и других многоголосых записях. В потоковом режиме настраивается входная буферная задержка: карточка указывает минимум 80 мс, рекомендует не менее 0,32 с и приводит конфигурации для задержки от 0,64 с; задержка не включает время вычислений. Разрешение выходных кадров настраивается с шагом 10 мс. Лицензия OpenMDW 1.1 допускает коммерческое и некоммерческое использование согласно карточке модели. Для работы с массивами аудиоданных нужно указывать корректную частоту дискретизации; по умолчанию используется 16 кГц. Модель определяет говорящих и временные границы их речи, но сама по себе не распознаёт слова.

Карточка модели SAIFIINDUSTRIES/Nemotron-3-Diarization на Hugging Face совпадает с карточкой nvidia/Nemotron-3-Diarization, поэтому описание составлено по ней. Nemotron 3 Diarization — модель NVIDIA с открытыми весами для диаризации речи: она определяет, кто и в какие моменты говорил в аудиозаписи. Модель поддерживает потоковую обработку и обработку готовых записей, в том числе длительных аудио при работе чанками, и рассчитана на записи с числом говорящих до восьми. В метаданных указана архитектура Nemotron3DiarizationForAudioFrameClassification и библиотека NeMo; доступны веса в safetensors и квантованный вариант GGUF Q8_0. Модель подходит для разметки реплик в интервью, совещаниях и других многоголосых записях. В потоковом режиме настраивается входная буферная задержка: карточка указывает минимум 80 мс, рекомендует не менее 0,32 с и приводит конфигурации для задержки от 0,64 с; задержка не включает время вычислений. Разрешение выходных кадров настраивается с шагом 10 мс. Лицензия OpenMDW 1.1 допускает коммерческое и некоммерческое использование согласно карточке модели. Для работы с массивами аудиоданных нужно указывать корректную частоту дискретизации; по умолчанию используется 16 кГц. Модель определяет говорящих и временные границы их речи, но сама по себе не распознаёт слова.

Luigi публикует объединённый GGUF-пакет Nemotron-3 Diarization и X-ASR для потоковой транскрибации с разметкой говорящих. Это упаковочное объединение двух моделей: веса не переобучались и не изменялись. X-ASR — потоковая модель распознавания речи на архитектуре Zipformer2 transducer; Nemotron-3 Diarization на базе Sortformer определяет до восьми говорящих и временные границы их реплик. На вход подаётся аудио с частотой 16 кГц, на выходе — текст с метками говорящих на общей временной шкале. Пакет рассчитан на потоковую работу на CPU, в том числе на телефонах; для X-ASR поддерживаются размеры чанков 160, 480, 960 и 1920 мс. В состав входят компоненты GilgameshWind/X-ASR-zh-en и nvidia/Nemotron-3-Diarization. README приводит результаты проверок на английских и китайских тестовых аудиозаписях, но они не гарантируют качество на других данных. Компоненты распространяются на условиях Apache-2.0 и OpenMDW-1.1; при использовании и распространении нужно соблюдать требования обеих лицензий и сохранять соответствующие уведомления.

Parakeet RNNT 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Это крупная версия FastConformer Transducer с примерно 1,1 млрд параметров и декодером RNNT; она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает текстовую расшифровку строчными буквами английского алфавита. Модель предназначена для транскрибирования английской речи в аудиозаписях, в том числе разговоров, совещаний, лекций и подкастов. Она обучена на 64 тысячах часов английской речи из частных и открытых наборов данных; в README приведены результаты оценки WER для нескольких речевых корпусов. Модель доступна через NeMo и Transformers, а также может использоваться как исходный чекпойнт для дообучения. Лицензия — CC-BY-4.0. Модель специализируется на английском языке и формате входа 16 кГц, моно; показатели качества зависят от акцента, условий записи и предметной области.

Moondream Parakeet Ultra — дообученная версия модели Parakeet TDT 0.6B v3 от NVIDIA для автоматического распознавания речи. Она сохраняет исходную архитектуру Parakeet TDT, токенизатор и 0,6 млрд параметров в полной точности и предназначена для транскрибирования речи, в том числе длинных записей, фоновых разговоров и аудио с шумом. Модель поддерживает 25 языков, включая русский, английский и немецкий. Для длинных записей встроенная в веса голова определения речевой активности помогает разбивать аудио на сегменты длительностью до 30 секунд без отдельной VAD-модели. В приведённых тестах Parakeet Ultra показала более низкий WER, чем Parakeet TDT 0.6B v3, а также более высокую скорость в тестах на Photon с GPU NVIDIA; результаты зависят от среды и настроек запуска. Для запуска автор рекомендует Photon. Модель опубликована под лицензией CC-BY-4.0. Она предназначена для распознавания речи и не выполняет перевод или генерацию речи.

Pingala V1 Universal — модель автоматического распознавания речи, разработанная Shunyalabs. Она преобразует аудио в текст и предназначена для точной дословной транскрипции встреч, финансовых звонков, вещательных передач, учебных материалов и других записей. В карточке заявлена поддержка 204 языков, включая индийские и мировые языки; метаданные отдельно перечисляют языковые теги, среди которых русский и английский. Модель основана на архитектуре Transformer, принимает аудио с частотой 16 кГц и поддерживает обработку речи в реальном времени; в карточке также указана встроенная функция обнаружения речевой активности. Shunyalabs приводит средний показатель WER 3,10% и средний RTFx 146,23, однако описание результатов в основном посвящено английской речи. Для доступа требуется аутентификация в Hugging Face Hub. Лицензия обозначена как other и содержит ограничения на дискриминационное, военное и иное вредоносное применение; перед использованием следует ознакомиться с полным текстом лицензии.

Это чекпойнт LED-base, дообученный командой Immich для суммаризации совещаний. Модель обучена на подходящей для задачи части AMI Meeting Corpus с seed обучения 42; вариант pipeline описан как базовая обработка полной записи встречи или иерархическая последовательность сегментации, извлечения и генерации. Модель содержит 95,2 млн параметров, использует архитектуру LED и сохранена в формате safetensors. Она предназначена для создания краткого содержания диалогов совещаний; карточка указывает загрузку через Transformers как seq2seq-модель. Лицензия — MIT.

OpenASR/qwen3-asr-0.6b — компактная модель автоматического распознавания речи, разработанная командой Qwen при Alibaba и упакованная проектом OpenASR в нативный формат .oasr. Модель основана на Qwen3-ASR-0.6B и предназначена для преобразования аудио в текст с поддержкой офлайн- и потоковой транскрипции, включая обработку длинных аудиозаписей и встроенное определение языка речи. Модель поддерживает 30 языков и 22 китайских диалекта, всего 52 языка и диалекта. Она рассчитана на эффективное использование на CPU и GPU, работает в OpenASR без Python во время инференса и доступна в вариантах fp16, q8_0 и q4_k. Размер сборок составляет примерно от 631 МБ до 1,88 ГБ; q8_0 рекомендуется как компромисс между качеством и занимаемой памятью, q4_k — для устройств с ограниченными ресурсами, а fp16 — для максимальной точности. Для распознавания сложного аудио заявлена устойчивость к чистой речи, вокалу и песням с фоновой музыкой. Ограничения включают отсутствие заявленной поддержки распознавания лиц или других модальностей, а также отсутствие встроенных таймкодов уровня слов; для них рекомендуется использовать отдельную модель Qwen3-ForcedAligner-0.6B. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели; OpenASR выполняет конвертацию формата и квантизацию.

Qwen3-ASR-0.6B — плотная модель распознавания речи семейства Qwen3-ASR, разработанная командой Qwen. Она принимает аудио и выполняет транскрибацию с автоматическим определением языка. Модель поддерживает 30 языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский; работает в потоковом и офлайн-режимах и рассчитана в том числе на длинные записи. Модель предназначена для распознавания речи в разных акустических условиях, включая речь, пение и песни с фоновой музыкой. Для интеграции доступны пакет qwen-asr и бэкенды Transformers и vLLM; потоковый режим поддерживается через vLLM. В README версия 0.6B описана как компромисс между точностью и эффективностью, с высокой пропускной способностью при параллельной обработке. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README не приводит отдельные результаты оценки качества именно версии 0.6B; характеристики уровня state of the art и сравнение с коммерческими API относятся к версии 1.7B. В потоковом режиме недоступны пакетная обработка и возврат временных меток.

Qwen3-ASR-0.6B-hf — компактная модель распознавания речи и определения языка из семейства Qwen3-ASR, разработанного командой Qwen. Это плотная модель на 0,6 млрд параметров для Transformers, принимающая аудио и выдающая текстовую расшифровку с указанием языка. Она поддерживает офлайн- и потоковую обработку, длинные аудиозаписи, пакетную транскрибацию и подсказки с контекстом или специализированной лексикой. Модель распознаёт речь на 30 языках и диалектах, включая русский, английский, китайский и кантонский, а также заявлена для пения и песен с фоновой музыкой. В README для версии 0.6B отмечена высокая пропускная способность при параллельной обработке; приведённая оценка на наборе тестов Open ASR Leaderboard показывает средний WER 6,31. Лицензия Apache-2.0 допускает использование на её условиях. Для временных меток слов требуется отдельная модель Qwen3-ForcedAligner; качество распознавания может зависеть от языка и акустических условий.

OpenASR/qwen3-asr-1.7b — мультиязычная модель автоматического распознавания речи из семейства Qwen3-ASR, разработанного командой Qwen компании Alibaba. Репозиторий OpenASR предоставляет переупакованные веса исходной модели Qwen/Qwen3-ASR-1.7B в формате .oasr для запуска в среде OpenASR без Python во время инференса. Модель преобразует аудиозаписи в текст, определяет язык речи и предназначена для офлайн- и потоковой транскрипции. Она поддерживает 30 языков, 22 китайских диалекта и ряд региональных вариантов английского. По данным README, модель устойчива к сложным аудиосценариям, включая пение и песни на фоне музыки, а её качество заявлено как конкурентоспособное по отношению к коммерческим API. Размер модели составляет около 2 млрд параметров, из которых примерно 1,7 млрд активны; исходный формат — BF16. Доступны варианты fp16, q8_0 и q4_k. q8_0 рекомендован как компромисс между качеством и требованиями к памяти, q4_k подходит для устройств с ограниченными ресурсами, а fp16 предназначен для максимальной точности. Пакеты оптимизированы для CPU и GPU, используют GGUF-backed контейнер, mmap-привязку весов без копирования и повторное использование буферов графа. По README, временные метки на уровне слов требуют дополнительной модели Qwen3-ForcedAligner-0.6B; абсолютная точность распознавания и заявленные показатели производительности зависят от аудио и оборудования. Распространение выполняется по лицензии Apache-2.0, унаследованной от исходной модели. OpenASR указывает, что внесённые изменения ограничиваются конвертацией формата и квантованием.

Карточка модели 6534211A/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Карточка модели jdoksjiksdjdf/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

SE-DiCoW — модель распознавания речи целевого говорящего, разработанная группой BUT Speech@FIT совместно с JHU CLSP/HLTCOE и CMU LTI. Это плотная модель семейства DiCoW с архитектурой DiCoWForConditionalGeneration, содержащая 905,2 млн параметров и основанная на Whisper large-v3-turbo. Она принимает аудио разговоров и формирует текстовую расшифровку речи выбранного говорящего, в том числе при наложении голосов. Модель использует автоматический выбор информативного фрагмента целевого говорящего с передачей признаков через cross-attention и преобразование FDDT, зависящее от диаризации. Обучение с шумовыми возмущениями и SpecAugment предназначено для повышения устойчивости к неточной диаризации. В карточке приведены результаты tcpWER на Libri2Mix, LibriSpeechMix и AMI, включая относительное снижение tcpWER примерно на 75% по сравнению с DiCoW v1 на Libri3Mix. Модель рассчитана на многоязычное распознавание речи в многоголосых разговорах и доступна в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка не уточняет языки по отдельности и длину контекста; практические результаты зависят от качества аудио и диаризации, а опубликованные метрики ограничены указанными наборами данных и протоколом оценки.

Модель speaker-diarization-3.1 — открытый конвейер для диаризации речи, связанный с экосистемой pyannote.audio. Он определяет, кто и когда говорит в аудиозаписи, и возвращает результат в виде объекта Annotation; вывод можно сохранить, например, в формате RTTM. Версия 3.1 является развитием pyannote/speaker-diarization-3.0 и устраняет использование onnxruntime: сегментация речи и построение голосовых эмбеддингов выполняются в чистом PyTorch. Конвейер предназначен для автоматической диаризации аудио, включая определение активности речи, обнаружение смены говорящих и обработку перекрывающейся речи. Он работает с монофоническим аудио с частотой 16 кГц; многоканальные записи автоматически сводятся к моно, а аудио с другой частотой дискретизации преобразуется при загрузке. Количество говорящих может определяться автоматически либо задаваться явно или ограничиваться минимальным и максимальным значением. Обработка выполняется на CPU по умолчанию, но поддерживается запуск на GPU через PyTorch. К сильным сторонам относятся полностью автоматическая обработка без ручного VAD и обязательного указания числа говорящих, а также отсутствие зависимости от onnxruntime, что упрощает развёртывание и потенциально ускоряет инференс. В README приведён результат тестирования на AISHELL-4 с DER 12,2%, включая оценку перекрывающейся речи. Ограничения включают необходимость установки pyannote.audio версии 3.1 или выше, принятия условий использования связанных моделей и наличия токена Hugging Face. Лицензия модели — MIT; README также содержит предложение рассмотреть коммерческие решения pyannoteAI для более быстрых или производительных сценариев.

SPTK-2 — многоязычная модель автоматического распознавания речи от SVECTOR. Это модель типа encoder-decoder с архитектурой E-Branchformer и разреженным MoE-декодером; веса представлены в формате safetensors. Модель предназначена для транскрибации аудио, перевода распознанной речи и получения временных меток. В README заявлена поддержка более 99 языков, а метаданные перечисляют языки, включая русский, английский, китайский, немецкий, испанский, корейский, японский и другие. Модель опубликована в апреле 2025 года. Карточка сообщает об улучшенной точности распознавания, точности временных меток и энергоэффективности по сравнению с предыдущими моделями, однако сравнительные результаты не приведены. Лицензия указана как other, без дополнительных условий в предоставленных данных.

SUPlime — модель диаризации речи с открытыми весами от Re:WayAI для pyannote.audio 4.x. Она принимает монофоническую аудиозапись с частотой 16 кГц и определяет, кто и когда говорит, без необходимости заранее задавать число говорящих. Модель сегментации использует WavLM-Base+ с 114 млн параметров, четыре слоя Conformer и выходную powerset-голову; для эмбеддингов говорящих применяется WeSpeaker SimAM-ResNet34, а сегменты группируются агломеративной кластеризацией. Модель дообучена на обучающих выборках 11 публичных корпусов. В описанном сравнении SUPlime показала лучшие результаты среди двух вариантов семейства на наборе из 12 корпусов; для 8-корпусного бенчмарка лучше подходит SUPlime-L. Модель рассчитана на совещания, разговорную речь, дальнюю запись и аудио с несколькими участниками. Ограничения включают поддержку не более двух одновременных говорящих на кадр и четырёх говорящих в 10-секундном окне; телефонная речь 8 кГц находится вне обучающего домена. Английский и китайский доминируют в обучающих данных, а оценка справедливости по языкам и демографическим группам не проводилась. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Ultravox v0.4 — мультимодальная речевая LLM от Fixie.ai на базе Llama 3.1 8B Instruct и Whisper medium. Она принимает аудио вместе с текстовым контекстом и генерирует текст, поэтому подходит для голосовых агентов, распознавания и анализа речи, а также перевода устной речи. Модель использует архитектуру Ultravox; в README указана скорость около 150 мс до первого токена и 50–100 токенов в секунду на GPU A100 40 ГБ. Авторы приводят результаты для перевода между английским, немецким и испанским, а также для распознавания английской речи на LibriSpeech. Входные языки по метаданным: английский, арабский, немецкий, испанский, французский, итальянский, японский, португальский и русский. Модель не генерирует аудио, а на момент этой версии не проходила preference tuning. Лицензия — MIT.

Ultravox v0.4.1 — мультимодальная речевая языковая модель от Fixie.ai на базе Llama 3.1 8B Instruct и Whisper Large V3 Turbo. Она принимает аудио вместе с текстовым контекстом и генерирует текстовые ответы, поэтому подходит для голосовых агентов, анализа речи и перевода устной речи. Модель обучалась на смеси наборов данных для распознавания речи и перевода, включая LibriSpeech, Common Voice, GigaSpeech, Peoples Speech, Wenetspeech и CoVoST2. Модель поддерживает арабский, немецкий, английский, испанский, французский, хинди, итальянский, японский, нидерландский, португальский, русский, шведский, турецкий, украинский и китайский языки. В README указаны задержка до первого токена около 150 мс и скорость генерации примерно 50–100 токенов в секунду на GPU A100 40 ГБ при использовании аудио. Модель выдаёт текст, а не синтезированную речь; в этой версии также не применялась настройка предпочтений. Лицензия — MIT.