I.9Аудио и музыка

MOSS-Audio-8B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Она принимает аудио и по инструкции формирует текстовые ответы: распознаёт речь, описывает звуки и музыку, отвечает на вопросы о содержании записи и создаёт её краткое изложение. Поддерживает временные отметки на уровне слов и предложений, анализ говорящих, эмоций и акустических событий, а также рассуждения по аудиоконтексту. Архитектура объединяет аудиоэнкодер MOSS-Audio-Encoder, адаптер модальности и языковую модель Qwen3-8B; общий размер составляет около 8,6 млрд параметров. Эмбеддинги аудио формируются с частотой 12,5 Гц, а временные маркеры помогают отвечать на вопросы о том, когда происходили события. Карточка указывает поддержку английского и китайского языков. Модель распространяется под лицензией Apache-2.0. Модель предназначена для прямого выполнения инструкций по аудио и может применяться для анализа записей разговоров, подкастов, музыки и окружающей среды. README приводит результаты сравнительных оценок, но они не гарантируют качество на конкретных данных; опубликованная информация также не описывает ограничения по длительности аудио или качество для других языков.

msingiai/sauti-asr — модель распознавания речи на суахили, разработанная Msingi AI в рамках конвейера Sauti ASR и дообученная на базе microsoft/paza-whisper-large-v3-turbo. Это модель семейства Whisper с архитектурой WhisperForConditionalGeneration и примерно 905,3 млн параметров; она принимает аудио и преобразует его в текст. В карточке указано, что это текущий предварительный кандидат Track A для оценки в исследованиях и продуктах. На тесте из 500 образцов кенийской речи на суахили получены WER 13,72% и CER 3,88%.

Wav2Vec2-Base-VoxPopuli-Finetuned — модель распознавания речи, разработанная Facebook AI. Она основана на архитектуре Wav2Vec2 Base: предварительно обучена на 10 тысячах часов неразмеченной речи из корпуса VoxPopuli, а затем дообучена на расшифрованных англоязычных данных. Модель преобразует аудиозапись на английском языке в текст и предназначена для автоматической транскрибации речи, в том числе записей, подобных материалам Common Voice. Она содержит 113,3 млн параметров и использует архитектуру Wav2Vec2ForCTC. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценки точности и подробных ограничений качества; применимость к языкам, отличным от английского, не заявлена.

WhisperD-NL — модель распознавания речи на нидерландском языке, созданная дообучением Whisper large-v3 на корпусе Corpus Gesproken Nederlands (CGN). Она предназначена для транскрибации с сохранением речевых запинок и неречевых событий, а также для распознавания до четырёх говорящих: их реплики помечаются тегами [S1]–[S4]. Модель построена на архитектуре Whisper и содержит около 905,3 млн параметров. В карточке указан WER 16,42 для распознавания с запинками, идентификацией говорящих и неречевыми событиями. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Модель оптимизирована для нидерландской речи и наследует ограничения базовой Whisper large-v3.

Модель oddadmix/whisper-medium-arabic-dialectal-v2 — дообученная версия OpenAI Whisper Medium для распознавания разговорной арабской речи разных диалектов. Она принимает аудио и генерирует текстовую расшифровку без диакритических знаков. Обучение проведено на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small; архитектура — WhisperForConditionalGeneration, веса хранятся в формате safetensors. В README указано 769 млн параметров; тестирование на сбалансированной выборке примерно из 2 600 аудиофрагментов дало WER 0,3415 и CER 0,128.

Whisper Medium TR — дообученная модель emre на базе мультиязычной OpenAI Whisper Medium для распознавания турецкой речи в текст. Она использует трансформерную архитектуру Whisper и содержит 455,8 млн параметров; обучение проводилось на начальных 10% обучающей и валидационной частей турецкого Common Voice 11.0 от Mozilla Foundation. Модель предназначена для транскрибирования турецких аудиозаписей; в README для оценочного набора указана WER 18,51. Модель принимает аудио и выдаёт текст. В обучении использовался weight decay 0,1 для снижения переобучения. Лицензия — Apache-2.0.

Cafet/whisper-meduim-mongolian — дообученная Cafet версия мультиязычной модели OpenAI Whisper Medium для распознавания речи на монгольском языке. Модель принимает аудио и преобразует речь в текст; она основана на архитектуре Whisper и содержит 455,8 млн параметров. На оценочном наборе указаны loss 0,3098 и WER 26,8664. Модель распространяется в формате Safetensors через Transformers по лицензии Apache-2.0.

Noobbbbb/whisper-small-bn-v2 — модель распознавания речи на бенгальском языке, созданная дообучением Noobbbbb/whisper-small-bn на наборе Noobbbbb/bengali-ai-asr-80k. Она использует архитектуру Whisper Small с 12 слоями энкодера и 12 слоями декодера и предназначена для преобразования бенгальской речи в текст. В карточке описана обработка аудио с выдачей транскрипции, в том числе временных фрагментов для длинных записей. Для обучения использовались подмножества обучающей и валидационной выборок, а также упомянут датасет Google FLEURS. Приведённые в карточке метрики получены на разных наборах и напрямую несопоставимы. Остаются ошибки замены слов и диакритики; качество на шумных записях и телефонной речи отдельно не проверялось. Модель распространяется по лицензии Apache-2.0.

thorhojhus/whisper-small-danish — дообученная на датском языке модель распознавания речи на базе Whisper Small. Она сохраняет исходные архитектуру Whisper и токенизатор; опубликованы веса экспоненциального скользящего среднего после 200 000 шагов обучения. Обучение использовало около 13 411 часов уникальной датской аудиозаписи, включая псевдоразмеченные данные и датские части CoRal v3, Common Voice 26.0, FLEURS, FTSpeech и NST. Модель предназначена для транскрибирования датской речи, в том числе разговорной и чтения вслух. В оценке по протоколу датского ASR-лидера WER составил 24,01% на CoRal conversation, 14,16% на CoRal read-aloud и 9,53% на Common Voice cv17_da. Модель распространяется по лицензии MIT. Качество после дообучения на языках, отличных от датского, не проверялось. Поведение на длинных записях отдельно не обучалось и требует проверки; тишина, шум и незнакомые имена могут приводить к ошибкам распознавания.

sapinsapin/whisper-small-fsc — модель распознавания речи на основе openai/whisper-small, дообученная автором на корпусе sapinsapin/filipinospeechcorpus для филиппинского языка, включая тагальскую речь и смешанную речь Taglish. Архитектура — WhisperForConditionalGeneration; модель принимает аудио и выдаёт текстовую транскрипцию. Модель обучалась 2000 шагов на 10 000 аудиофрагментах. На отложенной выборке указаны WER 0,1591 и CER 0,0706; CER использовался для выбора модели, поскольку орфография Taglish может различаться на уровне слов. Распознавание речи — основная поддерживаемая задача. Лицензия — Apache-2.0.

Cohere Transcribe Arabic — открытая модель распознавания речи на 2 млрд параметров, разработанная Cohere и Cohere Labs. Она предназначена для преобразования аудио в текст и оптимизирована для арабского языка, его диалектов и английской речи; также заявлена поддержка арабско-английской речи со смешением языков. В основе — архитектура Conformer encoder-decoder, модель поддерживается библиотекой Transformers и подходит для офлайн-инференса и обслуживания запросов через vLLM. Модель применима для транскрибации арабских аудиозаписей, распознавания диалектной речи и транскрибации английского аудио. Разработчики отмечают высокую точность на арабском и английском и эффективный инференс. Лицензия Apache-2.0. Модель лучше работает с одним заранее выбранным языком; автоматического определения языка нет, а качество на смешанной арабско-английской речи может быть нестабильным. Она не выдаёт временные метки и не выполняет диаризацию говорящих. На тишине и фоновых шумах может генерировать текст, поэтому перед распознаванием полезны шумовой фильтр или VAD.

Карточка модели Newmetrics/cohere-transcribe-arabic-07-2026 на Hugging Face совпадает с карточкой CohereLabs/cohere-transcribe-arabic-07-2026, поэтому описание составлено по ней. Cohere Transcribe Arabic — открытая модель распознавания речи на 2 млрд параметров, разработанная Cohere и Cohere Labs. Она предназначена для преобразования аудио в текст и оптимизирована для арабского языка, его диалектов и английской речи; также заявлена поддержка арабско-английской речи со смешением языков. В основе — архитектура Conformer encoder-decoder, модель поддерживается библиотекой Transformers и подходит для офлайн-инференса и обслуживания запросов через vLLM. Модель применима для транскрибации арабских аудиозаписей, распознавания диалектной речи и транскрибации английского аудио. Разработчики отмечают высокую точность на арабском и английском и эффективный инференс. Лицензия Apache-2.0. Модель лучше работает с одним заранее выбранным языком; автоматического определения языка нет, а качество на смешанной арабско-английской речи может быть нестабильным. Она не выдаёт временные метки и не выполняет диаризацию говорящих. На тишине и фоновых шумах может генерировать текст, поэтому перед распознаванием полезны шумовой фильтр или VAD.

Sortformer Diarizer 4spk v1 — модель NVIDIA для офлайн-диаризации речи, которая определяет активность до четырёх говорящих и отмечает временные границы их реплик. Она предназначена для анализа аудиозаписей разговоров, встреч, интервью и других многоголосых записей; модель не распознаёт произнесённые слова и не формирует текстовую расшифровку. Архитектура включает 18-слойный энкодер NeMo NEST на основе Fast-Conformer, за которым следует 18-слойный Transformer с размером скрытого слоя 192 и четырьмя сигмоидальными выходами на кадр. На вход подаётся моноаудио с частотой 16 кГц. Выход — вероятности активности каждого из четырёх говорящих по кадрам длительностью 0,08 секунды, из которых можно получить сегменты с временными метками и индексами говорящих. Модель работает в офлайн-режиме; длительность записи ограничена доступной видеопамятью. Она обучалась преимущественно на англоязычных данных, поэтому качество может снижаться для других языков и шумных или иных вне-доменных записей, а для более чем четырёх участников оно ухудшается. Модель доступна как предварительно обученный чекпойнт для NVIDIA NeMo и может использоваться для инференса или дообучения. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

KB-Whisper Medium — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab). Это дообученная версия Whisper Medium от OpenAI с 455,8 млн параметров, предназначенная прежде всего для расшифровки шведской речи в текст. Модель обучали в два этапа на более чем 50 000 часах шведской аудиозаписи с транскрипциями; для второго этапа применялись более строгие фильтры качества данных. Модель предлагает варианты транскрипции с разной степенью подробности: стандартный, более компактный для субтитров и более дословный. Авторы сообщают о снижении WER на шведской речи относительно OpenAI Whisper, однако приведённые в карточке таблицы неполны, поэтому оценить результаты именно версии Medium по ним нельзя. Доступны реализации и веса для Hugging Face, ONNX и CTranslate2, а также отдельные варианты для whisper.cpp. Модель принимает аудио и генерирует текстовую транскрипцию. Карточка указывает шведский язык; сведений о контекстном окне нет. Распространяется по лицензии Apache-2.0.

Модель toiar/khasi-asr-transcribe-diarize-v2 — дообученная версия MOSS-Transcribe-Diarize от OpenMOSS-Team для транскрибирования аудио на кхаси, английском и хинди. Она обучена на корпусе объёмом около 342 часов и поддерживает режимы вывода с временными метками и диаризацией, а также только с указанием говорящих. Базовая модель имеет размер 0,9 млрд параметров и предназначена для длинных записей с транскрипцией, временными метками, разделением говорящих и аннотациями акустических событий. Модель подходит для расшифровки многоязычных записей и разметки реплик по говорящим. Лицензия — Apache 2.0. Для загрузки требуется trust_remote_code=True.

Kotoba-Whisper-v2.2 — японская модель распознавания речи от Kotoba Technologies, разработанная совместно с Asahi Ushio. Она основана на kotoba-tech/kotoba-whisper-v2.0 и объединяет распознавание речи с конвейером постобработки, который добавляет диаризацию говорящих и пунктуацию к транскрипту. Модель построена на архитектуре Whisper, содержит около 905,2 млн параметров и принимает аудио, выдавая текстовую расшифровку. Она предназначена для транскрибирования японской речи с разделением реплик по говорящим и восстановлением пунктуации. Репозиторий использует формат safetensors; для работы через Transformers требуется версия 4.39 или новее. Лицензия — Apache-2.0. В README рекомендованы Flash Attention 2 при наличии совместимого GPU и добавление тишины в начале или конце аудио для потенциального улучшения качества. Для диаризации используются дополнительные пакеты, включая pyannote.audio. Карточка не сообщает длину контекста или подробные ограничения точности; качество диаризации и пунктуации зависит от аудио и компонентов конвейера.

Reza2kn/openai_whisper-large-v3-turbo-NVFP4 — это квантованная версия модели openai/whisper-large-v3-turbo, разработанная Reza2kn на базе архитектуры Whisper. Модель предназначена для автоматического распознавания речи и ориентирована прежде всего на транскрибацию персидской речи. Она интегрируется с библиотекой Transformers и рассчитана на использование в сценариях ASR, где важны снижение требований к памяти и ускорение инференса на совместимом оборудовании. Модель использует посттренировочную NVFP4-квантизацию в формате W4A4: веса Linear-модулей энкодера и декодера представлены в 4-битном формате FP4, масштабирование выполняется с использованием FP8 и FP32, а активации динамически квантуются до FP4. Голова CTC lm_head или proj_out оставлена в полной точности. Калибровка выполнена на 32 персидских аудиофрагментах из Reza2kn/persian-asr-eval-v0. Целевое оборудование — тензорные ядра NVIDIA Blackwell с архитектурой sm_100 и выше; квантизация проводилась на RTX 5080 Laptop. В тесте на 200 фрагментах FLEURS-fa модель показала WER 24,18%, CER 8,30%, задержку 652 мс на фрагмент и пиковое использование видеопамяти 2156 MiB. Сильной стороной модели является существенное уменьшение представления весов и возможность эффективного запуска на совместимых GPU Blackwell при сохранении функциональности базовой Whisper-модели. Ограничения включают зависимость от поддержки NVFP4 и оборудования NVIDIA Blackwell, а также отсутствие в карточке подробных сведений о размере модели, максимальной длине контекста и качестве для других языков или модальностей. Модель наследует лицензию базовой модели; в README указана лицензия Apache-2.0.

paprika-whisper-lt-v3 — третье поколение модели распознавания литовской речи, созданное для kalamo.ai и дообученное на базе kristijonas/paprika-whisper-lt. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration; в README указано, что она основана на whisper-large-v3-turbo и обучена на примерно 3 281 часе данных LIEPA-3. Модель принимает монофоническое аудио с частотой 16 кГц и преобразует речь в текст на литовском языке. Модель предназначена для транскрибации аудиозаписей и создания субтитров, в том числе для длинных файлов. Она рассчитана на высокую скорость работы: авторы указывают примерно 83-кратную скорость относительно реального времени и отмечают, что качество уступает некоторым более крупным литовским моделям. Вывод сохраняет разговорные формы речи, но по умолчанию содержит только строчные буквы и не содержит пунктуации; README рекомендует добавлять пунктуацию отдельным теггером. Для длинных записей README рекомендует длинноформатное декодирование и предупреждает, что сегментация фиксированными окнами может терять фрагменты речи или порождать текст на тишине. Доступ к весам предоставляется по лицензии CC BY 4.0.

Pashto Ghag — модель автоматического распознавания речи на пушту, созданная разработчиком проекта Pashto Ghag путём дообучения OpenAI Whisper medium. Модель содержит 455,8 млн параметров и принимает аудио, выдавая текстовую расшифровку на пушту. Для обучения использовались 54,4 часа проверенных записей Pashto Common Voice с нормализованными транскрипциями; опубликован чекпойнт, выбранный по результатам сравнения нескольких вариантов. На трёх отложенных наборах сбалансированный средний WER составил 14,63%.

Røst-Wav2Vec2-315m-v1 — модель распознавания датской речи, разработанная Alexandra Institute в рамках проекта CoRal. Это дообученная для распознавания речи модель Wav2Vec2ForCTC на основе facebook/wav2vec2-xls-r-300m; метаданные указывают 402,7 млн параметров, а в README версия названа 315-миллионной. Модель принимает аудио и выдаёт текстовые транскрипции. Для декодирования используется отдельная n-граммная языковая модель, обученная на датской Википедии, Common Voice и Reddit. Модель предназначена для автоматической транскрипции датской речи, в том числе чтения вслух с разными диалектами, акцентами и голосами. В оценке CoRal она показала CER 6,6% и WER 17,0%; на тесте Danish Common Voice 17 — CER 6,6% и WER 16,7%. README сообщает о более новой версии v2. Лицензия — OpenRAIL; биометрическая идентификация с использованием CoRal и производных моделей запрещена условиями лицензии.

SeamlessM4T v2 Large — мультимодальная многоязычная модель перевода и речи семейства SeamlessM4T, разработанная командой авторов карточки. Репозиторий содержит вариант на архитектуре UnitY2, в метаданных указаны 664,9 млн параметров, контекст 4096 токенов и формат safetensors. Модель предназначена для распознавания речи и перевода между речью и текстом: поддерживает преобразование речи в текст, текста в речь, а также речевой перевод с речевым или текстовым результатом. По README, модель принимает речь на 101 языке и текст на 96 языках, а генерирует речь на 35 языках. Архитектура UnitY2 с иерархическим преобразованием символов в речевые единицы и неавторегрессионным декодированием ускоряет генерацию речи и повышает её качество по сравнению с первой версией. В метаданных репозитория указана лицензия CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

Voxtral Mini 4B Realtime 2602 — мультиязычная модель автоматического распознавания речи в реальном времени, разработанная Mistral AI и представленная в формате ONNX сообществом onnx-community на основе mistralai/Voxtral-Mini-4B-Realtime-2602. Она предназначена для потоковой транскрибации аудио, создания субтитров в реальном времени, голосовых ассистентов, частной расшифровки встреч и других приложений, где важны низкая задержка и непрерывная обработка речи. Модель содержит около 4 млрд параметров: языковую модель примерно на 3,4 млрд параметров и аудиоэнкодер примерно на 970 млн параметров. Аудиоэнкодер использует каузальное внимание, а обе основные части — скользящее оконное внимание, что поддерживает потоковую обработку продолжительных аудиосессий. Заявлены 13 языков: английский, французский, испанский, немецкий, русский, китайский, японский, итальянский, португальский, нидерландский, арабский, хинди и корейский. Задержка транскрибации настраивается; рекомендуемое значение — 480 мс, диапазон зависит от конфигурации и позволяет выбирать баланс между скоростью и точностью. Указана производительность свыше 12,5 токена в секунду на устройствах с минимальными аппаратными ресурсами. Сильные стороны модели — нативная потоковая архитектура, низкая задержка, поддержка нескольких языков, возможность развертывания на устройствах и качество, сопоставимое с офлайн-системами при задержке 480 мс. Ограничения включают компромисс между задержкой и точностью, а также зависимость длительности потоковой сессии от настроек максимальной длины контекста и доступных ресурсов. Модель выпущена в формате BF16 по лицензии Apache 2.0, допускающей исследовательское и коммерческое использование.

Карточка модели UrizenB/wav2vec2-large-spanish на Hugging Face совпадает с карточкой jonatasgrosman/wav2vec2-large-xlsr-53-spanish, поэтому описание составлено по ней. jonatasgrosman/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, разработанная Jonatas Grosman. Она дообучена на основе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и предназначена для преобразования аудиозаписей на испанском языке в текст. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для входной речи требуется частота дискретизации 16 кГц. Модель поддерживает распознавание речи без языковой модели и подходит для транскрибирования записей и оценки качества ASR на испаноязычных речевых наборах данных, включая Common Voice. В карточке приведена лицензия Apache-2.0. Результаты могут зависеть от акустических условий и отличий речи от обучающих данных; языковая модель в базовом сценарии не используется.

anton-l/wav2vec2-large-xlsr-53-mongolian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на монгольском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио, записанное с частотой дискретизации 16 кГц, и преобразует речь в текст; для распознавания можно использовать её напрямую, без языковой модели. Модель обучалась на обучающей и валидационной частях Common Voice. В README приведён результат 38,53% на тестовых данных Common Voice для монгольского языка; метрика не уточнена. Модель распространяется по лицензии Apache-2.0. Хотя в репозитории представлены варианты PyTorch и Flax, заявленная задача — распознавание монгольской речи.

whisper-medium-luganda — дообученная на базе OpenAI Whisper Medium модель для автоматического распознавания речи на языке луганда. Она принимает аудио и преобразует речь в текст; архитектура Whisper содержит 455,8 млн параметров. В метаданных указаны наборы Common Voice 16.1 и FLEURS, а также формат весов safetensors. Модель опубликована под лицензией Apache 2.0.

nezamisafa/whisper-persian-v4 — модель распознавания речи на персидском языке, созданная дообучением Whisper large-v3 от OpenAI на наборе данных ASR_fa_v1. Это плотная модель архитектуры Whisper с 905,2 млн параметров, принимающая аудио и выдающая текст; для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В README указана оценка WER 8,73 на наборе оценки. Модель предназначена для транскрибации персидской речи. Базовая Whisper large-v3 поддерживает многоязычную транскрибацию и перевод аудио в текст, однако карточка этой версии сообщает о дообучении для распознавания персидского языка и не подтверждает качество для других языков или задач. Модель распространяется по лицензии Apache-2.0.

Viraj Patil дообучил Whisper Small MR v4 для автоматического распознавания речи на маратхи. Модель принимает аудио и преобразует речь в текст; в метаданных указана архитектура Whisper с 153,1 млн параметров. Для обучения использовались данные Common Voice 17.0 и Google FLEURS; метаданные также связывают модель с наборами Common Voice 19.0 и Google Marathi. На оценочном наборе указаны Loss 0,2496 и WER 34,1242. Модель распространяется под лицензией Apache-2.0.

LyngualLabs/whisper-small-yoruba — дообученная LyngualLabs модель OpenAI Whisper Small на архитектуре Seq2Seq/Transformer с 153,1 млн параметров. Она предназначена для автоматической транскрибации речи на йоруба и английском, включая частое переключение между этими языками в одной беседе. Модель принимает аудио и выдаёт текст; в README сообщается о настройке на акценты, тональность и языковое смешение в разговорах на йоруба и английском. На отложенной тестовой выборке авторы сообщили WER 20,76%. Модель может путать орфографию заимствованных слов при переключении языков; качество снижается на шумных записях и диалектных вариантах йоруба. Лицензия репозитория — Apache-2.0.

Audar-ASR-V1-Turbo — генеративная модель автоматического распознавания речи, разработанная AudarAI. Она ориентирована прежде всего на арабскую речь, включая литературный арабский и диалекты стран Персидского залива, египетский, левантийский и магрибский, а также на английский, арабско-английский code-switching и ещё 28 языков. Модель предназначена для преобразования аудио в текст, в том числе в потоковых и низколатентных сценариях на CPU, GPU и edge-устройствах. Архитектура включает аудиоэнкодер и декодер на основе языковой модели, который выполняет audio-conditioned next-token prediction, а не использует CTC или transducer objective. Общий размер модели составляет около 2,35 млрд параметров: 2,03 млрд у декодера и 0,32 млрд у аудиоэнкодера; указанный формат вычислений — bfloat16. Модель принимает монофонический звук с частотой 16 кГц и работает с контекстом до 30 секунд, при обработке более длинных записей используются разбиение на фрагменты или потоковая передача. Доступны форматы GGUF и safetensors, включая запуск через llama.cpp. Сильные стороны модели — специализация на диалектной арабской речи, обработка code-switching, сохранение имён собственных и диалектно-ориентированная орфография. По данным README, на Open Universal Arabic ASR Leaderboard она заняла первое место среди 37 систем со средними WER 23,2% и CER 9,2%; при этом приведённые результаты относятся к конкретным тестовым наборам и методике нормализации. Модель построена на открытой аудио-LLM-основе, но адаптация, данные и выравнивание принадлежат AudarAI. Лицензия — AudarAI Community License v1.0; условия следует уточнять в тексте лицензии.

Audio Flamingo Next-Instruct — инструкцияно настроенная аудиоязыковая модель NVIDIA для вопросов и ответов, диалога и понимания речи, окружающих звуков и музыки. Модель принимает аудио и текстовые инструкции, а ответы формирует текстом; поддерживает распознавание речи, перевод речи, понимание нескольких говорящих, описание аудио и временную привязку к событиям. Основной язык в карточке — английский, заявлена также многоязычная поддержка распознавания речи. Архитектура сочетает аудиоэнкодер на основе AF-Whisper, двухслойный MLP-адаптер и текстовую основу семейства Qwen2.5; для временной привязки используются Rotary Time Embeddings. Аудио обрабатывается окнами по 30 секунд, а процессор настроен на записи длительностью до 30 минут. Модель рассчитана на явные инструкции с указанием задачи и желаемого формата ответа. Ограничения включают неравномерное покрытие языков и акустических условий, слабое представление редких звуков и специализированных областей, а также трудности рассуждения по длинным записям при разреженных свидетельствах. Лицензия обозначена как other; README разрешает только некоммерческое исследовательское использование.