I.9Аудио и музыка

Это порт модели Cohere Transcribe Arabic от CohereLabs в формат OpenVINO, подготовленный для запуска распознавания речи на Intel NPU. Базовая модель содержит 2 млрд параметров и предназначена для транскрибации арабской, диалектной и английской речи. В комплект входят варианты FP16 и INT8 для Conformer-энкодера и декодера, декодер с кэшем KV и NumPy-раннер для инференса без PyTorch. Для INT8-пайплайна с кэшем KV автор приводит результат 9,03% WER на 150 арабских аудиозаписях FLEURS; разница с исходной моделью на GPU составила 0,07 процентного пункта. На Intel Core Ultra 7 255H указана скорость обработки примерно в 3,5 раза выше реального времени. Порт также поддерживает запуск на других устройствах OpenVINO, но INT8-энкодер не компилируется CPU-плагином; для CPU рекомендуется FP16. Лицензия — Apache 2.0, как у базовой модели.

faster-whisper-bsc-large-v3-cat — конвертированная версия акустической модели whisper-bsc-large-v3-cat, подготовленная для распознавания речи на каталанском языке. Конверсию выполнил Abir Messaoudi в лаборатории языковых технологий Barcelona Supercomputing Center в мае 2025 года с помощью faster-whisper; модель распространяется в формате CTranslate2 и используется через библиотеку CTranslate2. Модель предназначена для преобразования каталанских аудиозаписей в обычный текст без пунктуации. Её можно применять для расшифровки аудиофайлов, в том числе речи из датасетов каталонских акцентов, парламентских выступлений и медиаматериалов. Это конверсия, а не результат нового обучения. Репозиторий указывает лицензию Apache-2.0. В README заявлен вывод без пунктуации; оценок точности и других ограничений не приведено.

Fun-ASR-Nano-2512-fp16 — версия Fun-ASR-Nano-2512, преобразованная сообществом mlx-community в формат MLX с точностью fp16 с помощью mlx-audio-plus 0.1.4. Это компактная многоязычная модель распознавания речи на архитектуре FunASR, принимающая аудио и выдающая текст. Она поддерживает более 13 языков, распознавание с пользовательским контекстом, потоковый вывод и перевод речи в английский текст. Модель подходит для транскрибации аудио и речи в реальном времени, а также для распознавания терминологии в специализированных областях с подсказками. Перевод речи в английский текст заявлен как отдельный сценарий. Полный перечень языков доступен в карточке исходной модели, но в предоставленных данных он не указан. Репозиторий содержит веса safetensors в преобразованном формате MLX; базовая модель — FunAudioLLM/Fun-ASR-Nano-2512.

Kotoba-Whisper-v2.1 — японская модель автоматического распознавания речи, разработанная Kotoba Technologies совместно с Асахи Усио. Она основана на kotoba-tech/kotoba-whisper-v2.0 и использует архитектуру Whisper с 905,2 млн параметров. Встроенный конвейер дополнительно расставляет пунктуацию в распознанном тексте. Модель предназначена для транскрибации японской речи. В README приведены оценки CER на японских тестовых наборах CommonVoice 8, JSUT Basic 5000 и ReazonSpeech; для нормализованного CER результаты совпадают с версией v2.0, поскольку добавленная пунктуация при нормализации удаляется. Модель доступна через Transformers версии 4.39 и новее. Лицензия — Apache-2.0.

Kurdish OmniASR 7B Champion v10 — модель распознавания речи, разработанная для центральнокурдского языка (сорани). Она сочетает акустический экстрактор Wav2Vec2-BERT с авторегрессионным декодером Llama-7B и предназначена для транскрибации студийной, вещательной и телефонной речи, в том числе длинных записей с формированием субтитров. Модель ориентирована на сорани и преобразует разговорную речь в литературную орфографию, обрабатывая границы слов и клитик, составные глагольные приставки и другие особенности письма. В README описаны обучение на аудио разных акустических условий, включая телефонные записи, а также DPO-выравнивание. Заявленные результаты бенчмарков приведены разработчиком; их независимая проверка по представленным данным невозможна. Опубликован слитый чекпойнт PyTorch в формате bfloat16 размером 14,54 ГБ, без необходимости запускать LoRA-адаптер. Лицензия — Apache-2.0. Сведения о длине контекста не приведены.

NB-Whisper Large Distilled Turbo BETA — модель автоматического распознавания речи, разработанная Национальной библиотекой Норвегии. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration; она принимает аудио и выдаёт текстовую транскрипцию, рассчитанную прежде всего на норвежский букмол. Модель предназначена для более быстрого распознавания речи при ограниченных ресурсах, включая потоковую транскрипцию и развёртывание на мобильных и периферийных устройствах. В README модель названа дистилляцией NbAiLab/nb-whisper-large. Она обучалась на норвежских речевых данных, включая коллекции Национальной библиотеки Норвегии и Språkbanken. README указывает размер 756 млн параметров, тогда как метаданные Hugging Face — 905,2 млн. Метаданные также отмечают английский среди языков карточки; основным языком модели заявлен норвежский букмол. Лицензия — Apache 2.0. Это бета-версия, выпущенная для тестирования. Возможны пропуски фрагментов, галлюцинации и ошибки транскрипции; текст может быть нормализован в грамматически корректные предложения, а не передавать речь дословно. Качество следует проверять на целевых аудиозаписях.

NVIDIA FastConformer-Hybrid Large (es) — модель автоматического распознавания испанской речи, разработанная NVIDIA и обученная с использованием инструментария NeMo. Она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает расшифровку в виде текста с заглавными и строчными буквами, пробелами, точками, запятыми и испанскими вопросительными знаками. Модель основана на архитектуре FastConformer с уменьшением временной размерности свёрточными слоями в 8 раз. Это крупная модель примерно на 115 млн параметров с гибридным обучением по функциям потерь Transducer и CTC; доступны оба режима декодирования. Она обучалась на составном наборе испанской речи, включающем Fisher, MCV12, MLS и VoxPopuli, и предназначена для транскрибации речи общего назначения. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи. Модель выводит ограниченный набор знаков препинания: точку, запятую и испанские вопросительные знаки. Лицензия — CC BY 4.0.

Модель dragonSwing/wav2vec2-base-vietnamese — акустическая модель распознавания вьетнамской речи на основе Wav2Vec2 с классификационной головой CTC. Разработчик дообучил dragonSwing/wav2vec2-base-pretrain-vietnamese на 100 часах размеченных аудиоданных набора VSLP. В репозитории представлены веса PyTorch и Safetensors, размер модели — 113,3 млн параметров. Модель предназначена для преобразования вьетнамской речи в текст, в том числе для расшифровки аудио и распознавания речи в приложениях. Для входной речи требуется частота дискретизации 16 кГц; в README приведён результат оценки 31,35% на вьетнамской тестовой части Common Voice. Модель выпущена по лицензии Apache-2.0.

bond005/wav2vec2-large-ru-golos — акустическая модель распознавания русской речи, созданная как компонент системы Pisets для транскрибации лекций и интервью. Она основана на facebook/wav2vec2-large-xlsr-53 и дообучена на датасете SberDevices/Golos с аугментациями аудио, включая изменение высоты тона и скорости, а также реверберацию. Модель реализована на архитектуре Wav2Vec2ForCTC, содержит 402,7 млн параметров и работает с аудио, оцифрованным с частотой 16 кГц. Модель подходит для преобразования русской речи в текст, в том числе в условиях, отражённых тестами для ближней и дальней записи. В README приведены результаты на тестовых поднаборах Golos: WER 10,144% для crowd и 20,353% для farfield; CER — 2,168% и 6,030% соответственно. Модель распространяется по лицензии Apache-2.0. Для практического применения учитывайте требование к частоте дискретизации 16 кГц и возможное снижение точности при дальней записи.

imvladikon/wav2vec2-xls-r-1b-hebrew — модель распознавания речи на базе wav2vec 2.0 XLS-R, дообученная разработчиком imvladikon на основе facebook/wav2vec2-xls-r-1b. Она принимает аудио и преобразует речь на иврите в текст; подходит, например, для транскрибирования записей и аудиоматериалов на этом языке. Модель содержит 1,3 млрд параметров, использует архитектуру Wav2Vec2ForCTC и опубликована в форматах PyTorch и Safetensors. В оценке указаны loss 0,3533 и WER 0,2251. Датасет дообучения в карточке обозначен как None, поэтому по этим результатам нельзя судить о поведении на иных источниках и условиях записи. Лицензия — Apache-2.0.

WavLM-large-CORAA-pt — модель распознавания речи, созданная дообучением microsoft/wavlm-large на наборе данных CORAA. Она использует архитектуру WavLM Large с декодером CTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает португальский язык. На оценочном наборе CORAA указаны loss 0,6144 и WER 0,3840. Модель подходит для транскрибирования португальской речи, в том числе для последующей обработки расшифровок в приложениях. Лицензия — Apache-2.0. Подробности о тренировочных данных, условиях записи и ограничениях применения в карточке не раскрыты.

Это модель ivrit.ai для автоматического распознавания речи на иврите. Она основана на Whisper large-v3-turbo, дообучена на 295 часах речи с волонтёрскими транскрипциями из ivrit-ai/crowd-transcribe-v5 и 93 часах профессионально расшифрованной речи, а веса представлены в формате CTranslate2 для использования через faster-whisper. Модель принимает аудио и преобразует речь в текст; пример использования в карточке задаёт язык распознавания как иврит. Она предназначена для расшифровки аудиозаписей на иврите. Лицензия — Apache-2.0. Количественные оценки качества и ограничения в карточке не приведены.

ychafiqui/whisper-small-darija — дообученная модель семейства Whisper, созданная на основе openai/whisper-small для распознавания речи на дариже, марокканском варианте арабского языка. Она принимает аудио и преобразует речь в текст; в метаданных указана архитектура WhisperForConditionalGeneration и размер 153,1 млн параметров. Модель дообучена на наборе Darija Speech to Text. На тестовой выборке в карточке указаны loss 0,5318 и WER 48,2740, что следует учитывать при оценке качества транскрипции. Модель распространяется по лицензии Apache-2.0. В карточке не приведены сведения о длине аудио, поддерживаемых диалектах помимо дарижи или условиях записи; качество может зависеть от акцента, шума и акустики.

whisper-small-Kurdish-Sorani — модель распознавания речи, созданная дообучением openai/whisper-small для транскрибирования речи на курдском языке сорани. Она основана на архитектуре Whisper и содержит 153,1 млн параметров; для работы принимает аудио и выдаёт текст. В карточке приведены результаты оценки: WER 24,1171 и WER Ortho 26,7340, однако описание набора данных и методики оценки не раскрыто. Модель распространяется по лицензии Apache-2.0.

Blgn94/whisper-small-mn-v2 — дообученная модель на основе openai/whisper-small для автоматического распознавания речи на монгольском языке. Она использует архитектуру Whisper и предназначена для транскрибирования аудио; модель распространяется через Transformers в формате safetensors. Обучение проводилось на корпусе примерно из 77 часов монгольской речи с частотой 16 кГц, преимущественно на записях Common Voice. По результатам проверки на фиксированной выборке из 200 примеров модель показала WER 15,16% и CER 6,60%; полная оценка на валидационной выборке ещё не проводилась. Модель лучше подходит для чёткой подготовленной речи на кириллице и может быть полезна для транскрибирования записей и субтитров. По сравнению с разговорной, шумной или телефонной речью качество может быть ниже; Whisper также может ошибочно генерировать текст на тишине и неречевых фрагментах. Лицензия — Apache-2.0.

istomin9192/whisper-small-sr — дообученная модель OpenAI Whisper Small для автоматического распознавания сербской речи. Она предназначена для транскрибирования аудио с выводом текста только латиницей на сербском языке. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров; доступна в формате safetensors и рассчитана на использование через Transformers. Модель обучали на смеси открытых сербских речевых корпусов, включая Common Voice 24.0, FLEURS и часть ParlaSpeech-RS. В README приведены результаты WER 6,59% и 7,09% на тестовой выборке Common Voice 24.0; для нормализованной оценки удаляли пунктуацию, приводили текст к нижнему регистру, конвертировали кириллицу в латиницу и записывали числа словами. Лицензия — Apache-2.0.

BlueRaccoon/whisper-small-uz — модель автоматического распознавания речи, созданная участником мероприятия Whisper fine-tune sprint. Это дообученная версия openai/whisper-small с архитектурой Whisper и 153,1 млн параметров; она принимает аудио и преобразует речь в текст на узбекском языке. Обучение и оценка проводились на узбекских данных Mozilla Common Voice 11 и Google FLEURS. В оценке указана частота ошибок слов (WER) 23,65 на тестовом наборе Common Voice 11 и 47,15 на FLEURS. Эти результаты относятся к указанным наборам и не гарантируют такое же качество на других записях. Модель распространяется по лицензии Apache-2.0.

Whisper Telugu Large-v2 — модель распознавания речи, созданная дообучением openai/whisper-large-v2 на телугуязычных данных. Она разработана в рамках Whisper fine-tuning sprint с использованием нескольких общедоступных корпусов распознавания речи. Модель принимает аудио и генерирует текстовую транскрипцию на телугу. Архитектура — WhisperForConditionalGeneration, число параметров — около 905,2 млн. Доступны веса PyTorch и Flax; в карточке также упоминается использование whisper_jax для оценки модели. Для обучения использовались корпуса CSTD IIIT-H, ULCA, Shrutilipi, Microsoft Speech Corpus (Indian Languages), Google/Fleurs и Babel. Оценка проводилась на тестовых данных Microsoft Speech Corpus, Google/Fleurs, OpenSLR и Babel. Модель предназначена для автоматической транскрипции речи на телугу. Карточка не приводит метрик качества или сведений о поддержке других языков. Лицензия — Apache-2.0.

Модель ARTPARK-IISc/whisper-tiny-vaani-hindi — дообученная на датасетах индийской речи версия Whisper-tiny от OpenAI, разработанная ARTPARK-IISc. Она предназначена для автоматического распознавания речи на хинди и преобразования аудиозаписей в текст. В README указано, что при дообучении использовано около 718 часов транскрибированной речи из Vaani, Gramvaani, IndicVoices, Fleurs, IndicTTS и Common Voice. Модель имеет архитектуру WhisperForConditionalGeneration и около 29,4 млн параметров; доступна в формате safetensors и рассчитана на использование через Transformers. В карточке приведены результаты оценки WER для Gramvaani, Fleurs и IndicTTS, но они различаются, поэтому качество может зависеть от набора данных и сценария записи. Лицензия — Apache-2.0.

Whisper Khmer v9 — дообученная модель распознавания речи на кхмерском языке, созданная на основе openai/whisper-large-v3-turbo. Она предназначена для преобразования кхмерской речи в текст, в том числе при обработке аудио фрагментами до 30 секунд через стандартный конвейер automatic-speech-recognition в Transformers. Модель использует архитектуру Whisper и содержит около 913 млн параметров. Для распознавания применяется специальный объединённый BPE-токенизатор для кхмерского языка с 57 908 токенами. При обучении использовались 11 техник аугментации аудио; вероятность аугментации составляла 0,3. В карточке приведена оценка WER около 22% на чистом наборе проверки на шаге 1200. Модель распространяется по лицензии MIT.

X-ASR-zh-en — модель распознавания речи на китайском и английском языках, разработанная в рамках серии X-ASR на базе icefall. Это Zipformer transducer, обученный примерно на 1 млн часов открытых и собранных речевых данных и поставляемый в формате ONNX для запуска через sherpa-onnx. Модель поддерживает потоковое распознавание с вариантами размера чанка 160, 480, 960 и 1920 мс, а также офлайн-декодирование; в распознанном тексте поддерживаются пунктуация и регистр. Модель предназначена для транскрибации китайской и английской речи, в том числе в сценариях с низкой задержкой, а также для офлайн-распознавания. Её можно использовать в исследованиях, оценке качества, демонстрациях и экспериментах по развёртыванию. Фактическая задержка зависит от оборудования, параллельной нагрузки, разбиения аудио на чанки, настройки определения конца высказывания и конфигурации сервера. Технический отчёт с подробностями обучения и оценки ещё не опубликован. Лицензия — Apache-2.0.

FastSLM — модель на базе Qwen3-4B, дообученная okestro-ai-lab для преобразования речи в текст и других задач понимания аудио. Она использует архитектуру FastSLM с плотной моделью условной генерации и адаптацией языковой модели к аудио; веса доступны в формате safetensors. Модель ориентирована на эффективную обработку длинных записей: в README заявлена обработка до восьми часов аудио на GPU с 40 ГБ памяти. Для вывода требуются GPU и специальный код модели в Transformers. FastSLM поддерживает транскрибирование речи, перевод аудио в текст на другом языке, суммаризацию аудиозаписей и ответы на вопросы по их содержанию. README сообщает о сохранении возможностей исходной языковой модели для текстовых задач при отключении LoRA. В метаданных указаны английский и корейский языки; опубликованные материалы также упоминают стандартные тесты распознавания речи, но численные результаты здесь не приведены. Модель распространяется по лицензии Apache-2.0.

Granite-Speech-4.1-2B-Plus — плотная модель IBM для распознавания речи, построенная на базе ibm-granite/granite-4.0-1b-base и дообученная на речевых корпусах с разметкой диаризации и временных меток. Она предназначена для корпоративных сценариев преобразования речи в текст на английском, французском, немецком, испанском и португальском языках. Модель поддерживает обычную транскрипцию, разметку реплик по говорящим и временные метки конца каждого слова. Режимы выбираются формулировкой запроса; также можно передавать список ключевых слов для улучшения распознавания имён и терминов, а предыдущую расшифровку — как контекст при инкрементальном декодировании. В версии Plus обычная транскрипция не включает пунктуацию и заглавные буквы. Метки времени кодируются в сотых долях секунды и циклически повторяются каждые 10 секунд, поэтому при восстановлении времени нужно учитывать счётчик циклов. Возможны ошибки распознавания, смещения или нежелательные результаты. Модель распространяется по лицензии Apache-2.0.

IndicConformer — модель автоматического распознавания речи на хинди, разработанная AI4Bharat. Она принимает монофоническое аудио WAV с частотой дискретизации 16 кГц и возвращает распознанную речь в виде текста. Модель построена на архитектуре Conformer-Large: энкодер содержит 17 блоков и около 120 млн параметров, а декодер использует гибридный подход CTC-RNNT. Для инференса предусмотрен выбор CTC- или RNNT-декодера. Модель работает на хинди и распространяется по лицензии MIT; для работы используется библиотека AI4Bharat NeMo.

Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.

NVIDIA Nemotron 3.5 ASR — мультиязычная потоковая модель автоматического распознавания речи примерно на 600 млн параметров. Она построена на архитектуре FastConformer с поддержкой кэширования и RNNT, использует библиотеку NeMo и предназначена для транскрибации аудио в текст с низкой задержкой, включая работу с несколькими одновременными потоками. Модель является развитием англоязычной nvidia/nemotron-speech-streaming-en-0.6b и поддерживает языковую идентификацию через условное промптирование. Модель заявлена для 40 языковых локалей и поддерживает английский, испанский, немецкий, французский, итальянский, арабский, японский, корейский, португальский, русский, хинди, китайский, вьетнамский, иврит, нидерландский, чешский, датский, польский, норвежский, шведский, тайский, турецкий, болгарский, греческий, эстонский, финский, хорватский, венгерский, литовский, латышский, румынский, словацкий, украинский, мальтийский и словенский. Это делает её подходящей для многоязычных сервисов расшифровки речи, субтитров и обработки аудиопотоков. В README приведены значения WER на тестах FLEURS для ряда языков, однако показатели зависят от языка и условий записи. К сильным сторонам относятся потоковая обработка, кэш-ориентированная архитектура, многоязычность и возможность автоматического определения языка. Ограничения включают специализацию на распознавании речи, зависимость качества от языка и акустических условий, а также отсутствие в предоставленных данных сведений о максимальном контексте и дополнительных модальностях. Модель распространяется по лицензии OpenMDW-1.1.

Wav2Vec2-Base-960h — модель распознавания речи, разработанная Facebook. Она основана на архитектуре wav2vec 2.0: модель предварительно обучена на аудио речи, а затем дообучена на 960 часах размеченных данных LibriSpeech. Веса содержат 113,3 млн параметров; доступны форматы PyTorch, safetensors и TensorFlow. Модель предназначена для преобразования английской речи в текст. На вход подаётся аудио с частотой дискретизации 16 кГц; обучение и оценка опираются на LibriSpeech. Для оптимальных результатов следует соблюдать эту частоту дискретизации. Модель распознаёт речь, но карточка не заявляет поддержку других языков или дополнительных аудиозадач. Лицензия — Apache-2.0. Указанные в карточке результаты на LibriSpeech не гарантируют такую же точность на других акцентах, условиях записи или предметных областях.

skydheere/wav2vec2-large-mms-1b-somalia — модель распознавания речи на основе wav2vec2-large, дообученная на facebook/mms-1b-all с использованием набора данных xtreme_s. Она принимает аудио и преобразует речь в текст; репозиторий указывает архитектуру Wav2Vec2ForCTC и размер около 1,3 млрд параметров. На оценочной выборке приведены loss 0,5553 и WER 0,4330. Карточка не описывает поддерживаемый язык и условия применения подробнее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Whisper Gujarati Medium — модель распознавания речи на основе Whisper Medium, дообученная Vasista22 на открытых корпусах аудиозаписей на гуджарати в рамках спринта по дообучению Whisper. Модель принимает аудио и генерирует текстовую транскрипцию; её можно применять для расшифровки речи на гуджарати и оценки качества распознавания на тестовых наборах. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров. В обучении использовались ULCA ASR Corpus, Microsoft Speech Corpus для индийских языков, набор Google Fleurs и OpenSLR; оценка проводилась на тестовых данных Microsoft Speech Corpus и Google Fleurs. Лицензия — Apache 2.0. README не приводит длину контекста или численные результаты оценки.

TalTechNLP дообучила мультиязычную модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи. Обучение включало 1400 часов аудио с вручную подготовленными дословными транскрипциями на эстонском языке, около 4000 часов эстонских новостных аудиозаписей с автоматически созданными транскрипциями и контекстной подсказкой, а также около 500 часов англоязычных подкастов и видео YouTube. Модель особенно рассчитана на эстонскую речь с английскими терминами и фрагментами, например в технических подкастах. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров. Она принимает аудио и выдаёт текст; использовать её можно через Transformers, а опубликованный вариант в формате GGML — с инструментами на базе whisper.cpp. Лицензия — MIT. Карточка не сообщает отдельные метрики качества или гарантии точности распознавания.