I.9Аудио и музыка

Модель MohammadGholizadeh/whisper-large-v3-persian-common-voice-17 — дообученная версия Whisper Large v3 от OpenAI для распознавания персидской (фарси) речи и преобразования аудио в текст. Она обучена на более чем 250 тысячах аудиозаписей Common Voice 17 и предназначена для транскрибации персидской речи, в том числе с обработкой аудио фрагментами до 30 секунд через Transformers pipeline. По данным карточки, увеличение обучающей выборки по сравнению с Common Voice 11 улучшило Word Error Rate и устойчивость распознавания. Модель не возвращает временные метки: попытка запросить их может вызвать ошибку. Для длинных записей в примере предлагается разбивать аудио на фрагменты. Лицензия — Apache-2.0.

Whisper Large-V3 Portuguese — дообученная модель распознавания речи на базе openai/whisper-large-v3, созданная автором репозитория zuazo на датасете Mozilla Common Voice 13.0 для португальского языка. Она принимает аудио и генерирует текстовую транскрипцию; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. На указанном в карточке наборе оценки модель показала WER 4,6003 и loss 0,4315. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения.

Apel-sin/whisper-large-v3-russian-ties-podlodka-v1.2 — русскоязычная модель распознавания речи на архитектуре Whisper large-v3. Она объединяет методом TIES модели antony66/whisper-large-v3-russian и bond005/whisper-large-v3-ru-podlodka; размер составляет 905,2 млн параметров. Модель предназначена для преобразования аудиозаписей в текст, в том числе телефонных разговоров. В карточке указано, что для обработки звонков рекомендуется предварительно подготовить записи и отрегулировать громкость. Модель помечена как незавершённая работа: автор планирует дополнительно адаптировать её для распознавания телефонной речи. Обучение связано с наборами Common Voice 17.0, Taiga Speech v2, Podlodka Speech и ruLibriSpeech. Использование совместимого с OpenAI API сервера описано как возможный способ запуска. Сведения о лицензии в предоставленных данных отсутствуют.

Это оптимизированная для CTranslate2 версия дообученной модели Whisper Large V3 Turbo, подготовленная ele-sage для распознавания канадской французской речи, включая квебекский вариант. Веса представлены в формате Float16, что позволяет ускорить инференс и снизить потребление памяти по сравнению с исходной версией на Transformers. Модель предназначена для транскрибации аудио на французском языке и может использоваться через WhisperX или Faster-Whisper; WhisperX также подходит для выравнивания распознанного текста с аудио. Для обучения исходной модели использовались данные Assemblée Nationale и Common Voice. Лицензия — MIT. Специализация на французской речи может снижать качество распознавания других языков.

French Medium Whisper — дообученная модель распознавания речи из семейства Whisper, созданная на основе openai/whisper-medium и обученная на наборе данных Common Voice 11.0. Она преобразует французскую речь в текст и подходит для транскрибации аудио и оценки систем распознавания французской речи. В карточке приведены результаты на тестовой выборке: WER 15,8969 без нормализации и 11,1406 с нормализацией. Модель содержит 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch. Лицензия — Apache-2.0. Результаты сравнения с Whisper Medium приведены для тестовых наборов разных версий Common Voice, поэтому они не гарантируют превосходство на других аудио и сценариях.

cahya/whisper-medium-id — модель распознавания речи на индонезийском языке, созданная дообучением openai/whisper-medium на датасетах Common Voice 11, MagicData, TITML и Google Fleurs. Она использует архитектуру Whisper и содержит 455,8 млн параметров; для работы доступна в формате PyTorch через Transformers. Модель предназначена для преобразования индонезийской речи в текст. В карточке приведён пример транскрибации аудиофайла с настройкой языка распознавания. На тестовых выборках указана частота ошибок слов (WER) 3,83 на Common Voice 11 и 9,74 на Google Fleurs; на Common Voice результат базовой Whisper Medium в той же оценке составил 12,62. Модель распространяется по лицензии Apache-2.0. Описание не приводит сведений о длине контекста или подробных ограничениях; приведённые оценки относятся к конкретным тестовым выборкам и не гарантируют аналогичное качество на других типах аудио.

Это дообученная модель распознавания речи на базе OpenAI Whisper medium, созданная dianavdavidson. Модель содержит 455,8 млн параметров и принимает аудио, чтобы преобразовывать речь в текст. По названию репозитория она настроена для распознавания хинди; README сообщает о дообучении на неизвестном наборе данных. На оценочном наборе указаны loss 0,2355 и Global WER 26,3949, однако описание набора данных и условий оценки отсутствует. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0.

Модель cdli/whisper-small-Swahili_finetuned_small_CV20 — дообученная версия Whisper Small от разработчика CDLI для автоматического распознавания речи на суахили. Она принимает аудио и генерирует текстовую расшифровку; подходит для транскрибирования записей и речи из датасета Common Voice. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 153,1 млн параметров и распространяется в формате safetensors через библиотеку Transformers. В README приведены значения WER: 0,261 на dev-наборе и 0,295 на test-наборе; до настройки они составляли 0,849 и 0,856 соответственно. Сведения о лицензии отсутствуют в предоставленных источниках.

Модель abilमानsplus/whisper-turbo-ksc2 — версия Whisper large-v3-turbo от OpenAI, дообученная разработчиком репозитория на казахском корпусе речи Kazakh Speech Corpus 2 объёмом около 1000 часов размеченного аудио из разных источников. Она предназначена для автоматического распознавания речи и преобразования казахской речи в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 905,2 млн параметров и распространяется в формате Safetensors для библиотеки Transformers. На тестовой части корпуса автор сообщает WER 9,16%. Для аудио длиннее 35 секунд README рекомендует разбивать запись на фрагменты по 30 секунд и объединять результаты транскрибации. Модель доступна по лицензии MIT. Указанный результат получен на конкретном тестовом разделе корпуса и не гарантирует такую же точность на других источниках, акцентах или условиях записи.

BuzzASR/armenian — одноязычная модель автоматического распознавания армянской речи, разработанная как часть набора BuzzASR и созданная полным дообучением openai/whisper-large-v3 с заменой токенизатора на армянский и мультитасковым дообучением на текстовых данных. Она преобразует аудио в текст; языковая и задачная подсказка встроена в конфигурацию генерации. Модель содержит 907,3 млн параметров и использует архитектуру Whisper. Модель предназначена для транскрибации армянской речи. В описанных тестах FLEURS и Common Voice 25 она показала CER 3,72% и 0,65% соответственно, а на объединённом тестовом наборе — CER 2,28% и WER 7,51%; эти результаты сравниваются с нулевым запуском Whisper large-v3. Обучение использовало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Модель ограничена армянским языком; качество на других предметных областях и диалектах может отличаться от результатов тестирования. Лицензия — MIT.

arif11/bangla-ASR-v5 — модель автоматического распознавания речи на бенгальском языке, созданная дообучением openai/whisper-small на наборе Mozilla Common Voice 13. Это модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для преобразования бенгальской речи в текст, в том числе для транскрибирования записей и аудио из голосовых сервисов. В README приведены результаты оценки на тестовой выборке: loss 0,1503 и WER 36,6982. Репозиторий распространяется по лицензии Apache-2.0.

CogniSoftOrg/canary-1b-v2-mlx-bf16 — неофициальная конверсия модели NVIDIA Canary-1B-v2 для запуска на Apple Silicon через MLX и mlx-audio. Основная модель распознаёт речь и выдаёт текст; в репозитории также есть CTC-компонент для выравнивания текста по аудио и получения временных меток. Веса конвертированы из формата NVIDIA NeMo в safetensors с точностью bf16 без дообучения и квантизации. Модель построена на архитектуре FastConformer: 32-слойный аудиоэнкодер и 8-слойный Transformer-декодер. Она рассчитана на распознавание речи на 25 европейских языках, включая русский, и поддерживает перевод речи между английским и другими языками этого набора. Для CTC-выравнивания README указывает временные метки примерно с шагом 80 мс. README сообщает о проблемах совместимости в коде инференса mlx-audio 0.4.3: возможна ошибка типов в масках декодера, параметры языков могут фильтроваться, а жадное декодирование может зацикливаться на сложной записи. CTC-компонент может искажать текст на дальней или сложной речи, поэтому предназначен прежде всего для выравнивания. Лицензия — CC BY 4.0; конверсия не связана с NVIDIA и не одобрена ею.

Confucius4-R2T2-GGUF — это квантизированная GGUF-версия модели Confucius4-R2T2 от NetEase Youdao, подготовленная для запуска в audio.cpp. Модель предназначена для автоматического распознавания речи, включая офлайн-транскрибацию и потоковую обработку аудио в реальном времени с низкой задержкой. Поддерживается append-only потоковая выдача текста с декодированием по принципу Longest Stable Prefix. Модель представляет собой дообученную версию Qwen3-ASR-1.7B. Доступны варианты Q8_0 размером около 2,31 GiB и F16 размером около 3,81 GiB; вариант F16 ориентирован на максимальную точность, а Q8_0 — на более компактное размещение. GGUF-файлы содержат токенизатор, конфигурации процессора и генерации, шаблон чата и спецификацию модели, поэтому для запуска достаточно одного файла. Поддерживаются CPU, CUDA и Metal, а также размеры потоковых фрагментов от 80 мс до 2 секунд. Заявлена поддержка китайского, английского, кантонского и ряда других языков, включая русский, японский, корейский, арабский, немецкий, французский, испанский, португальский, итальянский, хинди и другие. Сильными сторонами являются локальный запуск без Python и PyTorch, потоковый режим, низкая задержка и возможность работы с живым аудиопотоком. Ограничения включают отсутствие проверенной поддержки квантизаций ниже Q8_0, а также то, что VAD-определение окончания речи на момент публикации не включено. Модель распространяется по лицензии netease-youdao-model-use-license; условия следует уточнять в тексте лицензии.

Ming-flash-omni Preview — мультимодальная модель от разработчиков семейства Ming, построенная на разреженной MoE-версии Ling-Flash-2.0. В модели заявлено 100 млрд параметров, из которых активны около 6 млрд на токен; она поддерживает входные изображения, текст, видео и аудио, а генерирует изображения, текст и аудио. Модель предназначена для мультимодального диалога и генерации: понимания изображений и видео, распознавания речи с учётом контекста и диалектов, синтеза речи, генерации и редактирования изображений. В карточке отдельно отмечены сегментация как часть редактирования, улучшенное сохранение сцены и идентичности при правках изображений, а также распознавание 15 китайских диалектов. Архитектура — разреженная Mixture-of-Experts; доступны интерфейсы чата и вызова инструментов. Модель опубликована как Preview, поэтому заявленные результаты стоит рассматривать с учётом предварительного статуса версии. Лицензия — MIT.

Nemotron-3.5-ASR-Streaming-0.6B GGUF — конвертация модели NVIDIA Nemotron-3.5-ASR-Streaming-0.6B в формате GGUF для использования с CrispASR. Модель предназначена для автоматического распознавания речи, включая потоковую транскрипцию аудио с низкой задержкой. Она поддерживает 39 языков и языковых вариантов, включая русский, английский, немецкий, французский, испанский, китайский, японский, корейский, арабский и другие. Модель принимает монофонический звук с частотой дискретизации 16 кГц и выполняет распознавание с нативной пунктуацией и капитализацией. Архитектура включает потоковый Cache-Aware Streaming FastConformer-энкодер из 24 слоёв с размерностью 1024 и 8 головами внимания, RNN-T-декодер на основе двухслойного LSTM со скрытым состоянием 640 и joint network со словарём из 13 088 токенов SentencePiece. Выбор языка выполняется через conditioning с использованием prompt_kernel. Поддерживаются жадный и beam search декодинг, а также четыре режима потокового контекста, позволяющие выбирать баланс между задержкой и качеством. Опубликованный WER составляет от 6,93% до 8,43% в зависимости от пресета контекста, однако эти значения не гарантируют аналогичные результаты на пользовательских данных. Доступны версии F16 размером около 1,3 ГБ и рекомендованная квантованная Q4_K размером около 458 МБ; для Q4_K заявлены примерно двукратное ускорение и идентичный текстовый результат. Модель рассчитана на использование через CrispASR и ориентирована на офлайн- и потоковые сценарии распознавания. Лицензия OpenMDW-1.1 допускает коммерческое использование. Ограничениями являются зависимость от CrispASR для заявленного сценария применения, необходимость корректно указать язык и компромисс между задержкой и точностью в потоковых режимах.

Ogaal-Labs/Ogaal-ASR-CT2-INT8 — конвертированная в CTranslate2 модель распознавания речи, основанная на Ogaal-Labs/Ogaal-ASR и предназначенная для запуска через faster-whisper. Исходная модель — дообученный на сомалийской речи Whisper large-v3; конверсия INT8 ориентирована на ускорение инференса на CPU и снижение потребления памяти при сохранении токенизатора и конфигурации для сомалийского языка. Модель принимает аудио и преобразует речь в текст. В README приведён пример транскрибации с faster-whisper на CPU. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой моделью. Подробности обучения, оценки качества и ограничения приведены в карточке исходной модели.

Qipchoq-STT — модель автоматического распознавания речи на базе Whisper, разработанная xmullaboyeva и дообученная на пользовательском речевом датасете. Она преобразует аудио в текст и может использоваться для транскрибации записей, подготовки разметки и интеграции распознавания речи в приложения на Python через библиотеку Hugging Face Transformers. Модель содержит 455,8 млн параметров и распространяется в формате Safetensors. В метаданных указан узбекский язык; название Qipchoq также указывает на кипчакское направление, однако README не уточняет языковой охват. Лицензия — Apache-2.0. Качество распознавания может снижаться на шумных записях, при акцентах и диалектах, не представленных в обучающих данных, при одновременной речи нескольких собеседников и на очень коротких аудиофрагментах.

SPTK-2 — многоязычная модель автоматического распознавания речи от SVECTOR. Это модель типа encoder-decoder с архитектурой E-Branchformer и разреженным MoE-декодером; веса представлены в формате safetensors. Модель предназначена для транскрибации аудио, перевода распознанной речи и получения временных меток. В README заявлена поддержка более 99 языков, а метаданные перечисляют языки, включая русский, английский, китайский, немецкий, испанский, корейский, японский и другие. Модель опубликована в апреле 2025 года. Карточка сообщает об улучшенной точности распознавания, точности временных меток и энергоэффективности по сравнению с предыдущими моделями, однако сравнительные результаты не приведены. Лицензия указана как other, без дополнительных условий в предоставленных данных.

NVIDIA Conformer-Transducer Large (en-US) — модель распознавания речи, разработанная NVIDIA и предназначенная для работы в инструментарии NeMo. Она преобразует монофоническую английскую речь в текст в нижнем регистре; входной формат — аудио WAV с частотой 16 кГц. Модель построена на архитектуре Conformer-Transducer, использует авторегрессионное декодирование и обучена с функцией потерь Transducer. Размер — около 120 млн параметров. Для обучения использован составной набор англоязычных речевых данных, включая LibriSpeech, Fisher, Switchboard, VoxPopuli, Common Voice и People’s Speech. В README приведены результаты WER для нескольких тестовых наборов. Модель подходит для транскрибации аудиозаписей и может использоваться как предварительно обученный чекпойнт для дообучения на других данных. Её ограничения включают возможное ухудшение качества на технической лексике, непривычной разговорной речи и речи с акцентом. Лицензия — CC BY 4.0.

BuzzASR/Vietnamese — специализированная модель автоматического распознавания речи на вьетнамском языке, разработанная как часть набора из 102 языковых ASR-моделей BuzzASR. Она дообучена методом простого fine-tuning от openai/whisper-large-v3 с сохранением токенизатора Whisper и настройкой только для распознавания речи. Модель использует архитектуру Whisper large-v3 с 905,2 млн параметров и принимает аудио, выдавая текстовую транскрипцию. Модель предназначена для транскрибации вьетнамской речи. В тестах README указаны CER 3,73% и WER 7,26% на FLEURS, а также CER 5,38% и WER 10,68% на комбинированном тестовом наборе; результаты зависят от данных и условий оценки. Обучение включало FLEURS и текстовые данные корпуса Goldfish. Модель распространяется по лицензии MIT.

Wav2Vec2-Base-100h — модель распознавания речи, разработанная Facebook. Она основана на архитектуре wav2vec 2.0 и дообучена на 100 часах размеченной речи из LibriSpeech после предварительного обучения на аудиоданных. Модель принимает речь с частотой дискретизации 16 кГц и преобразует её в текст; в метаданных указано около 113,3 млн параметров. Модель предназначена для автоматической транскрибации англоязычной речи, в том числе записей, похожих на аудиокниги и подкасты. Её можно использовать как акустическую модель в системах распознавания речи. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0.

Модель Wav2Vec2-Large-100k-VoxPopuli-Català разработана ccoreilly и дообучена на базе facebook/wav2vec2-large-100k-voxpopuli для распознавания каталонской речи и преобразования её в текст. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров; принимает аудио с частотой дискретизации 16 кГц. Для обучения использованы Common Voice и ParlamentParla. В описанных автором оценках частота ошибок слов составила 5,98% на тестовой выборке CV+ParlamentParla, 12,14% на Google Crowdsourced Corpus и 12,02% на аудиокниге «La llegenda de Sant Jordi». Модель распространяется по лицензии Apache-2.0. При оценке важно учитывать, что использованное разбиение не совпадает полностью с Common Voice 6.1: 1144 аудиофайла из тестовой выборки Common Voice попали в обучение или оценку модели, поэтому оценка на стандартном тесте CV будет смещённой. Автор отдельно сообщает результат на тестовом файле, который не использовался при обучении и оценке.

NbAiLab разработала wav2vec2-large-voxrex-npsc-nynorsk — модель распознавания речи, дообученную на наборе NBAILAB/NPSC 16K_MP3_NYNORSK. Она принимает аудио и преобразует речь в текст, с акцентом на норвежский нюнорск. Модель основана на архитектуре Wav2Vec2 с CTC-декодированием и содержит 402,7 млн параметров. На оценочном наборе указаны значения Loss 0,4142 и WER 0,1576. Модель подходит для транскрибации записей на нюнорске; данные карточки не описывают ограничения по условиям записи или устойчивости к шуму. Веса опубликованы в формате PyTorch по лицензии Apache 2.0.

Модель oliverguhr/wav2vec2-large-xlsr-53-german-cv9 разработана как дообученная версия facebook/wav2vec2-large-xlsr-53 для распознавания немецкой речи. Это плотная модель архитектуры Wav2Vec2 с головой CTC и примерно 402,7 млн параметров. Она обучена на немецкой части Mozilla Common Voice 9.0 и предназначена для преобразования аудиозаписей речи в текст. На тестовой выборке указаны CER 2,27 и WER 9,48. Модель принимает аудио и выдаёт текст; основным языком является немецкий. Репозиторий содержит веса PyTorch и Safetensors, а также формат ONNX. Модель распространяется по лицензии Apache-2.0. README не описывает ограничения и условия записи аудио; результаты тестирования относятся к указанному набору данных и могут не отражать качество на других источниках речи.

Модель jonatasgrosman/wav2vec2-large-xlsr-53-persian — акустическая модель распознавания речи, дообученная Jonatas Grosman на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель предназначена для преобразования персидской речи в текст; обучалась на обучающей и валидационной выборках Common Voice 6.1. На вход подаётся аудио с частотой дискретизации 16 кГц, на выходе — распознанный текст на персидском языке. В карточке приведены результаты на тестовой выборке Common Voice: WER 30,12% и CER 7,37%; фактическое качество зависит от записи и условий речи. Модель опубликована под лицензией Apache-2.0.

wav2vec2-large-xlsr-53-spanish-ep5-944h — акустическая модель для автоматического распознавания испанской речи, дообученная Карлосом Даниэлем Эрнандесом Меной на основе facebook/wav2vec2-large-xlsr-53. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Дообучение длилось пять эпох на примерно 944 часах испаноязычных аудиоданных, включая речь из CIEMPIESS, Common Voice, Fisher, CALLHOME и других корпусов. Модель предназначена для преобразования испанской речи в текст, в том числе для распознавания мексиканского испанского и речи из разных испаноязычных регионов. В карточке приведён результат оценки 0,112, но метрика и условия оценки не уточнены. Модель распространяется в форматах PyTorch и safetensors по лицензии CC BY 4.0.

maxidl/wav2vec2-large-xlsr-german — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на немецкой части набора Common Voice. Она преобразует немецкую речь в текст и предназначена для сценариев автоматической транскрипции. Архитектура — Wav2Vec2ForCTC; размер — 402,8 млн параметров. Для входного аудио требуется частота дискретизации 16 кГц. В оценке на тестовой части Common Voice для немецкого языка модель показала WER 12,77 %. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-Indonesian — модель распознавания речи, созданная Cahya и дообученная на базе facebook/wav2vec2-large-xlsr-53 на индонезийской части Common Voice. Она преобразует аудиозапись речи в текст и рассчитана на распознавание индонезийской речи; входное аудио должно иметь частоту дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Доступны веса PyTorch и Flax. В карточке приведён результат оценки 25,86% на тестовых данных Common Voice, но метрика не уточнена. Модель распространяется по лицензии Apache-2.0.

qqpann/wav2vec2-large-xlsr-japanese-0325-1200 — модель автоматического распознавания японской речи, дообученная на основе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В карточке указана настройка аудио с частотой дискретизации 16 кГц; среди связанных с моделью данных указан Common Voice. Модель предназначена для преобразования японской речи в текст, в том числе для транскрибирования записей и аудиоматериалов. Распространяется в формате PyTorch по лицензии Apache-2.0. README содержит шаблонные поля и не приводит измеримого результата оценки, поэтому качество на конкретных записях по карточке определить нельзя.

jonatasgrosman/wav2vec2-xls-r-1b-german — модель распознавания речи на немецком языке, дообученная Jonatas Grosman с помощью инструмента HuggingSound на базе facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров. Модель обучалась на данных Common Voice 8.0, Multilingual TEDx, Multilingual LibriSpeech и Voxpopuli. Модель преобразует немецкую речь в текст и подходит для транскрибирования аудиозаписей. Для входного аудио требуется частота дискретизации 16 кГц. Веса опубликованы в формате PyTorch по лицензии Apache-2.0.