I.9Аудио и музыка

sitwala/whisper-large-v3-turbo-anv-zul-150h — дообученная модель распознавания речи на базе OpenAI Whisper large-v3-turbo. Она предназначена для преобразования аудио в текст, с настройкой на набор данных dsfsi-anv/za-african-next-voices. В оценке на тестовой выборке указаны Loss 0,3443 и WER 25,2022. Модель использует архитектуру WhisperForConditionalGeneration, содержит 905,2 млн параметров и доступна в формате safetensors для библиотеки Transformers. Исходная Whisper large-v3-turbo — мультиязычная модель распознавания речи и перевода аудио в текст; карточка этой версии не уточняет языки и режимы, проверенные при дообучении. Лицензия — MIT.

imTak/whisper_large_v3_turbo_Korean2 — дообученная модель распознавания речи на основе Whisper large-v3-turbo от OpenAI. Она предназначена для преобразования корейской речи в текст; в карточке указано дообучение на наборе Zeroth-Korean, а метаданные также связывают модель с Common Voice 17.0. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 905,2 млн параметров и работает через Transformers. На оценочном наборе автор приводит значение WER 5,2703 и loss 0,0670. Модель распространяется по лицензии MIT. Показатели приведены для указанного оценочного набора и сами по себе не гарантируют такое же качество на других данных и условиях записи.

Whisper Large v3 Turbo Nepali — модель распознавания речи, дообученная Kiran Pantha на базе openai/whisper-large-v3-turbo с использованием датасета OpenSLR54. Она предназначена для преобразования речи на непальском языке в текст. Модель построена на архитектуре Whisper и содержит 905,2 млн параметров; для инференса доступны веса в формате safetensors. На указанном в карточке наборе оценки модель получила loss 0,1707, WER 23,6343 и CER 5,4903. Эти результаты относятся к конкретной оценочной выборке и не гарантируют такую же точность на других записях. Лицензия модели — MIT.

Whisper Large V3 Türkçe Genel ASR (M1), TurkMedSTT projesinde Muhammed Kumcu ve Yağmur Tuncer tarafından OpenAI Whisper large-v3 temelinde uyarlanan модель распознавания речи. Она предназначена для транскрибации общей турецкой речи, сравнения ASR-моделей, анализа ошибок и подготовки черновиков субтитров с последующей проверкой человеком. Модель использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров. Для адаптации применялся LoRA с целевыми модулями q_proj и v_proj; адаптер затем объединили с базовой моделью, поэтому репозиторий содержит полные веса. Обучение проведено на примерно 140 часах сбалансированной турецкой речи. В тесте на 320 реальных клипах указаны WER 0,0792 и CER 0,0226; эти результаты не гарантируют такую же точность на других записях. Модель принимает аудио и выдаёт текст; основный язык — турецкий. Для вывода используется Transformers, а из-за крупного размера модели рекомендуется GPU, хотя возможен и медленный запуск на CPU. Модель не предназначена для клинического использования и автоматического принятия решений. Опубликованные веса распространяются по Apache-2.0; для обучающих аудиоданных действуют лицензии их источников.

Whisper-small-ar — модель распознавания арабской речи, разработанная на основе архитектуры Whisper и дообученная на арабских данных Mozilla Common Voice 11.0. Она принимает аудио и преобразует произнесённую речь в текст; предназначена для транскрибирования записей, подкастов, видео и разговоров, а также для интеграции в голосовые интерфейсы и приложения на базе Hugging Face Transformers. Модель использует архитектуру Transformer encoder-decoder и содержит 153,1 млн параметров. В карточке заявлена поддержка арабских диалектов и акцентов. Модель распространяется по лицензии Apache-2.0. Ее ограничения: качество может различаться между диалектами, акцентами и условиями записи; численные оценки качества в карточке не приведены.

arbml/whisper-small-cv-ar — модель распознавания речи, созданная Zaid Alyafeai дообучением openai/whisper-small на наборе Common Voice 11.0. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров; она принимает аудио и преобразует арабскую речь в текст. На оценочной выборке указаны loss 0,3509 и WER 22,3838. Модель распространяется по лицензии Apache-2.0.

vk496/whisper-small-esl — модель распознавания речи, дообученная разработчиком на базе Ari/whisper-small-es. Она предназначена для транскрибации аудио; карточка сообщает об обучении и оценке на небольшом наборе из 95 и 10 аудиофрагментов соответственно. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В оценке указаны точное совпадение 0,900 и точность по символам 0,975. Метаданные связывают модель с испанским языком. Модель распространяется в формате safetensors по лицензии Apache-2.0.

hezarai/whisper-small-fa — модель распознавания речи на основе Whisper small, дообученная Hezar AI на персидской части набора Common Voice 13. Она преобразует персидскую речь в текст и предназначена для сценариев автоматической транскрибации. Модель распространяется в формате PyTorch и используется через библиотеку Hezar. В карточке не приведены сведения о лицензии и ограничениях качества.

Whisper Small Icelandic — модель распознавания речи, созданная дообучением openai/whisper-small на датасете samromur. Она принимает аудио и генерирует текстовую транскрипцию на исландском языке. Модель содержит 153,1 млн параметров и использует архитектуру Whisper с плотными слоями. В карточке указана оценка WER 23,0409 на наборе для оценки. Модель подходит для транскрибирования исландской речи; сведений о других сценариях или длине контекста нет. Распространяется по лицензии Apache-2.0.

bayartsogt/whisper-small-mn-8 — дообученная модель семейства Whisper от разработчика bayartsogt на базе openai/whisper-small. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; в метаданных указаны датасеты Common Voice 11.0, FLEURS и два монгольских набора данных. Модель содержит 153,1 млн параметров и распространяется в формате PyTorch. В карточке приведены результаты оценки: WER 26,5185 и CER 9,4681. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Подробные инструкции по применению и ограничения в карточке не описаны.

Dragneel/whisper-small-nepali — модель автоматического распознавания речи на основе Whisper Small, дообученная на непальском корпусе OpenSLR 54. Она предназначена для преобразования непальской речи в текст, в частности для транскрибирования записей с чистой и размеренной речью. В метаданных указаны архитектура Whisper, 153,1 млн параметров и формат safetensors; README сообщает о 154 часах обучающих аудио и 157 905 высказываниях. На тестовой выборке OpenSLR модель показала WER 26,69%. Лучше всего она работает с качественной записанной речью; быстрый разговорный темп и сильный фоновый шум могут ухудшать распознавание. Возможны варианты написания слов, различающиеся длиной гласных. Базовая модель — openai/whisper-small. Лицензия Apache-2.0.

Модель dmusingu/WHISPER-SMALL-SWAHILI-ASR-CV-14 — дообученная Denis Musinguzi версия Whisper для автоматического распознавания речи на суахили. Она обучена на наборе Common Voice 14.0 и предназначена для преобразования аудио с речью в текст. В метаданных указаны архитектура Whisper, 153,1 млн параметров и формат весов safetensors; базовая модель — openai/whisper-large. На оценочной выборке README приводит Loss 0,4428, WER 0,2513 и CER 0,0983. Модель подходит для транскрибации записей и голосовых материалов на суахили. Лицензия — Apache-2.0. Результаты приведены только для указанной оценочной выборки Common Voice 14.0; README не сообщает подробностей о методике оценки или поведении на других аудиоданных.

Whisper Tamil Medium — модель распознавания речи на основе архитектуры Whisper, дообученная Vasista22 на корпусах тамильской речи в рамках спринта по тонкой настройке Whisper. Модель принимает аудио и генерирует текстовую транскрипцию на тамильском языке; её можно применять для расшифровки записей и оценки качества распознавания на тамильских аудиокорпусах. Модель содержит около 455,8 млн параметров. В репозитории представлены варианты PyTorch и Flax; карточка также приводит пример использования через Whisper JAX. Обучение проводилось на нескольких общедоступных корпусах тамильской речи, включая IISc-MILE, ULCA, Shrutilipi, Microsoft Speech Corpus, Fleurs и Babel. Лицензия — Apache-2.0.

lgris/whisper-tiny-cv11-pt — модель распознавания речи на базе архитектуры Whisper Tiny, дообученная на португалоязычной части Common Voice 11.0. Она преобразует входящее аудио в текст и подходит для транскрибации португальской речи. Веса представлены в формате PyTorch, размер модели — 29,4 млн параметров. На оценочном наборе указаны loss 0,5205 и WER 33,2447. Модель выпущена под лицензией Apache-2.0. Подробности о рекомендуемых условиях применения и известных ограничениях в карточке не приведены.

NavAI · whisper-tiny-uzbek — компактная модель распознавания узбекской речи, разработанная NavAI на основе openai/whisper-tiny и дообученная на 753 часах аудио с человеческими расшифровками. В метаданных указано 29,4 млн параметров; README называет размер модели 39 млн. Архитектура — WhisperForConditionalGeneration, веса доступны в формате safetensors и предназначены для использования с Transformers. Модель преобразует узбекскую речь в текст, в первую очередь на латинице (uzn_Latn). Она подходит для транскрибации записей и пакетной обработки аудио; для лучших результатов рекомендуется явно задать язык «uz». Длинные записи обрабатываются окнами по 30 секунд. На четырёх тестовых наборах узбекской речи модель показывает макро WER 18,13% и микро WER 17,2%; качество ниже на энциклопедической речи и редких иностранных именах. Модель слабее справляется с дальними, шумными и выраженно диалектными записями; основной целевой вариант — узбекская речь на латинице. Лицензия модели — Apache-2.0.

Mofe/xls-r-hausa-40 — модель распознавания речи, разработанная на основе facebook/wav2vec2-xls-r-300m и дообученная на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0 для хауса. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь на хауса в текст. На оценочной выборке указаны Loss 0,4998 и WER 0,5153. Модель опубликована под лицензией Apache-2.0. Результаты на этой выборке не гарантируют такого же качества на других записях; подробные сведения об ограничениях и условиях эксплуатации в карточке не приведены.

Модель anton-l/xtreme_s_xlsr_300m_voxpopuli_en — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания английской речи. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на английском языке в текст, в частности для распознавания речи из набора VoxPopuli.EN. На оценочной выборке указаны WER 0,1549 и CER 0,0966. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает ограничения распознавания и условия работы с разными акустическими условиями.

Модель maherghanem86/arabic_speech_to_text разработана и обучена инженером Махером Бассамом Ганемом для автоматического распознавания арабской речи. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров; репозиторий содержит веса PyTorch и SafeTensors. Модель предназначена для преобразования аудиозаписей на арабском языке в текст; карточка сообщает о тестировании на Common Voice 8.0 и показателе WER 22,26%.

istupakov/canary-1b-v2-onnx — это конвертированная в формат ONNX версия модели NVIDIA Canary 1B v2, подготовленная для использования с библиотекой onnx-asr. Модель разработана на базе NVIDIA Canary 1B v2 и предназначена для автоматического распознавания речи, а также автоматического перевода речи между языками. Модель принимает аудиофайлы, например WAV, и поддерживает распознавание на болгарском, хорватском, чешском, датском, нидерландском, английском, эстонском, финском, французском, немецком, греческом, венгерском, итальянском, латышском, литовском, мальтийском, польском, португальском, румынском, словацком, словенском, испанском, шведском, русском и украинском языках. Для некоторых сценариев доступен перевод распознанной речи на целевой язык, например с английского на французский. Ключевая характеристика модели — формат ONNX, позволяющий использовать её через onnx-asr, в том числе в окружении с CPU. В названии и идентификаторе базовой модели указано обозначение 1B, однако точные сведения об архитектуре, размере файлов, максимальной длительности аудио и размере контекста в README не приведены. Ограничения производительности и качества зависят от аудиозаписи, языка и аппаратной конфигурации. Модель распространяется по лицензии CC BY 4.0. Для загрузки и использования рекомендуется установить пакет onnx-asr с поддержкой CPU и Hugging Face Hub.

EdgeIn-v3 — мультимодальная модель семейства EdgeInstant, опубликованная chenjz24. Она объединяет аудиоэнкодер Qwen3-ASR, обученный аудиопроектор, Qwen3.5 Thinker, компактный Talker с нативными токенами и декодер Qwen3-TTS для генерации звуковой волны. Модель принимает монофоническое аудио с частотой 16 кГц и текст; выдаёт текст и аудио с частотой 24 кГц. Поддерживаются китайский и английский языки, а аудио может быть длиннее 30 секунд. Модель предназначена для распознавания речи, аудиообусловленного диалога и потоковой генерации речи из текста. Для загрузки требуется Transformers 5.12.1 и включение пользовательского кода через trust_remote_code=True. Потоковая речь использует фиксированный встроенный голос и обрабатывает за один вызов одну беседу; для синтеза доступны китайский, английский и автоматический выбор языка. Веса и токенизаторы компонентов Qwen включены, лицензии Qwen и условия LICENSE.codec применяются к соответствующим компонентам.

Это конвертированные в ONNX модели GigaAM v2, подготовленные для запуска через библиотеку onnx-asr. Репозиторий содержит варианты архитектуры CTC и RNN-T для автоматического распознавания речи; пример применения из карточки — транскрибация WAV-файла. Модель предназначена для распознавания русской речи по аудио. ONNX позволяет использовать её в совместимой среде выполнения, включая CPU-вариант onnx-asr. Репозиторий распространяется по лицензии MIT. Размер моделей и длина контекста в предоставленных данных не приведены.

granite-4.0-1b-speech-gguf — это GGUF-квантизированная версия Granite-4.0-1b-speech, разработанного IBM Granite и адаптированного для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и двунаправленного перевода речи между английским и французским, немецким, испанским, португальским и японским языками. Перевод выполняется только через английский язык, поэтому прямые направления между неанглийскими языками не поддерживаются. Модель представляет собой audio-LLM с Conformer-энкодером, block-local Shaw attention, проектором BLIP-2 Q-Former и авторегрессионным Granite-4.0-1b-base в роли декодера. На вход подаётся монофонический WAV с частотой 16 кГц. Поддерживаются английский, французский, немецкий, испанский, португальский и японский языки; автоматическое определение языка, потоковая обработка и временные метки не поддерживаются. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,60 до 4,63 ГБ. Сильные стороны модели — компактность, возможность локального запуска на устройствах с ограниченными ресурсами, высокая точность английского распознавания и поддержка многоязычного ASR и перевода. На наборе LibriSpeech test-clean заявленная WER составляет 1,41–1,48% в зависимости от квантизации, однако фактическое качество зависит от языка, аудио и выбранного варианта. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

parthiv11/indic_whisper_hi_multi_gpu — модель распознавания речи на основе Whisper, дообученная для индийских языков. Репозиторий содержит чекпойнты и реализацию на JAX для ускоренного запуска на GPU и TPU; в метаданных также указаны веса PyTorch. Размер модели — 455,8 млн параметров. Модель предназначена для преобразования речи в текст, в том числе для транскрибирования аудиозаписей. В README приведены результаты на бенчмарках для подмножества на хинди, однако численные результаты сравнения для этой модели в таблице не представлены. Указанная в README оценка ускорения JAX относится к реализации и не гарантирует такой же результат на любом оборудовании. Модель рассчитана на хинди; общий README описывает семейство как предназначенное для индийских языков, но подтверждённая метаданными поддержка указана только для хинди. Лицензия — MIT.

Это дообученная модель Whisper на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; в названии модели указаны хинди, хинглиш и смешанные письменности. В README приведены результаты оценки: loss 0,4115 и Global WER 27,8641; описание датасета и подробности применения не раскрыты. Модель распространяется под лицензией MIT.

Модель reazon-research/japanese-hubert-base-k2-rs35kh — акустическая модель для автоматического распознавания японской речи. Её разработала команда Reazon Research: HuBERT Base дообучена на корпусе ReazonSpeech v2.0 с использованием фреймворка k2. Модель содержит около 117,3 млн параметров, реализована как HubertForCTC и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для преобразования японской речи в текст, включая длинные записи. В тестах авторов она показала CER 11,23% в среднем по указанным наборам и 27,05% на JSUT-BOOK; результаты зависят от данных и условий распознавания. Модель принимает аудио и выдаёт текст. Лицензия Apache-2.0.

Модель reazon-research/japanese-zipformer-base-k2-rs35kh-bpe — японская система автоматического распознавания речи на архитектуре Zipformer. Разработчики Reazon Research дообучили базовую japanese-zipformer-base-k2 с помощью k2 на крупном корпусе ReazonSpeech v2.0; в репозитории опубликованы веса Safetensors для использования через библиотеку Transformers. Размер модели — около 96,5 млн параметров. Модель предназначена для преобразования японской речи в текст, в том числе для распознавания коротких аудиозаписей. В тестах README указаны значения CER 9,71% на JSUT-BASIC5000, 11,00% на Common Voice и 13,07% на TEDxJP-10K; на наборе JSUT-BOOK для длинной речи результат не приведён. Модель распространяется по лицензии Apache-2.0.

kmynas-parakeet-lt-v4 — модель распознавания литовской речи, разработанная Kristijonas и дообученная на базе NVIDIA Parakeet TDT 0.6B v3. Это плотная TDT-транспьюсерная модель с 0,6 млрд параметров; она принимает аудио и возвращает текст на литовском языке с пунктуацией, заглавными буквами и нормализованным написанием заимствований. Для обучения использованы 3 087 часов корпуса LIEPA-3. Модель доступна в формате safetensors и в исходном формате NeMo, работает через Transformers и рассчитана на быстрое распознавание речи, в том числе на локальном устройстве. Модель подходит для расшифровки разговоров, радиопередач и записей с телефона, когда нужен читаемый текст без отдельного этапа расстановки пунктуации. Архитектура транспьюсера обеспечивает монотонное выравнивание аудио и текста; автор сообщает о высокой скорости на MacBook и GPU, но эти показатели получены на конкретных устройствах и не гарантируют аналогичную производительность в других условиях. Лицензия — CC BY 4.0. Среди известных ограничений — непоследовательное распознавание имён собственных и редкой иностранной технической лексики, а также смешанный подход к дословной передаче разговорных форм. Модель не выполняет диаризацию и не размечает говорящих; для очень длинных файлов рекомендуется делить запись по паузам.

BuzzASR/korean — специализированная модель автоматического распознавания корейской речи, созданная как часть набора BuzzASR. Это дообучение Whisper large-v3 от OpenAI с исходным токенизатором Whisper; модель содержит около 905,2 млн параметров и работает с аудио на входе, выдавая текст на корейском языке. Модель предназначена для транскрибации корейской речи. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25: нормализованный CER составляет 5,16% и 4,24% соответственно, а на объединённом наборе — 4,61%. По заявлению авторов, это лучший результат среди сравниваемых ими открытых систем; на других доменах и диалектах качество может отличаться. Модель распространяется по лицензии MIT. Она одноязычная и обучалась на данных FLEURS, Common Voice Corpus 25.0 и текстовых данных Goldfish.

Ansu разработал модель автоматического распознавания речи на баскском языке — дообученную версию utter-project/mHuBERT-147 с архитектурой HuBERT и CTC-декодером. Модель содержит 113,3 млн параметров и предназначена для преобразования баскской речи в текст; в карточке приведены результаты на тестовых наборах CV, Parl и OSLR, включая WER 0,074, 0,068 и 0,204 соответственно. Модель принимает аудио и выдаёт текст. Примеры показывают распознавание баскской речи, в том числе записей с именами собственными и заимствованными словами; ошибки в орфографии и распознавании слов остаются, а качество различается между тестовыми наборами. Веса опубликованы в формате Safetensors для Transformers. Лицензия CC BY-NC-SA 4.0 требует указания авторства, ограничивает коммерческое использование и предписывает распространять производные материалы на тех же условиях.

Модель tristayqc/my_zh_CN_asr_cv13_model — дообученная версия Wav2Vec2-large-XLSR-53 для распознавания речи на китайском языке с преобразованием аудиозаписей в текст. Её разработали на основе jonatasgrosman/wav2vec2-large-xlsr-53-chinese-zh-cn и дообучили на Common Voice 13.0. Архитектура — Wav2Vec2ForCTC, размер — 406,2 млн параметров; модель принимает аудио и выдаёт текст. Модель подходит для автоматической расшифровки китайской речи, в том числе записей, похожих на данные Common Voice. В README указаны результаты на тестовой выборке: CER 0,0674 и WER 0,375. Модель распространяется по лицензии Apache-2.0.