I.9Аудио и музыка

jonatasgrosman/wav2vec2-xls-r-1b-portuguese — модель распознавания речи на португальском языке, созданная дообучением facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2 с выходной головой CTC и содержит около 1,3 млрд параметров. Для обучения использованы обучающие и валидационные части Common Voice 8.0, CORAA, Multilingual TEDx и Multilingual LibriSpeech; модель предназначена для преобразования португалоязычной речи в текст. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт транскрипцию. В карточке приведён пример использования через библиотеку HuggingSound. Модель опубликована под лицензией Apache-2.0. Карточка не сообщает метрики качества или ограничения на типы записей, поэтому практическую точность следует оценивать на данных целевого сценария.

zuazo/whisper-base-es — дообученная модель распознавания речи, созданная на основе openai/whisper-base и набора данных Mozilla Common Voice 13.0 для испанского языка. Она использует архитектуру Whisper с 51,7 млн параметров и принимает аудио, выдавая распознанный текст. Модель предназначена для автоматической транскрипции испанской речи, например аудиозаписей и голосовых сообщений. На оценочной выборке указана WER 13,5312 и loss 0,3281. Базовая Whisper также умеет переводить речь на английский, но для этой версии карточка подтверждает дообучение именно для распознавания испанской речи. Модель распространяется по лицензии Apache-2.0, которая разрешает использование, изменение и распространение с указанием авторов. Результаты могут зависеть от акцента, качества записи и состава данных; карточка не приводит дополнительных ограничений или подробностей об оценочном протоколе.

Whisper Base French — модель распознавания речи, созданная дообучением openai/whisper-base на французской части набора Mozilla Common Voice 16.0. Она принимает аудио и преобразует речь в текст, поэтому подходит для транскрибации французских записей и голосовых сообщений. Архитектура — WhisperForConditionalGeneration, число параметров — 51,7 млн. На оценочной выборке указаны loss 0,5654 и WER 27,6510; это значение WER следует учитывать при выборе модели для задач, где важна точность транскрипции. Модель распространяется по лицензии Apache-2.0.

arampacha/whisper-large-hy — дообученная модель распознавания речи на основе openai/whisper-large-v2, разработанная автором репозитория arampacha. Модель предназначена для преобразования аудиозаписей в текст; в карточке указана оценка WER 19,9869 на наборе Common Voice 11.0. Модель относится к семейству Whisper, использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров. Она принимает аудио и выдаёт текст; языковой тег hy указывает на армянский язык. Обучение проводилось на Common Voice 11.0, а метаданные также связывают модель с набором Google Fleurs. Репозиторий распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит подробностей о сценариях использования и ограничениях качества, кроме приведённой оценки на тестовом наборе; результаты на других данных могут отличаться.

cautroi/whisper-large-v3-id — дообученная модель распознавания речи на базе OpenAI Whisper large-v3, созданная Sanchit Gandhi. Она обучена на наборе Common Voice 11.0 и предназначена для преобразования речи в текст; карточка приводит WER 10,8842 на оценочной выборке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и формат safetensors, запускается через Transformers. В метаданных для неё указан язык хинди. Базовая модель также поддерживает многоязычное распознавание и перевод аудио в текст. Лицензия — Apache-2.0. В карточке нет подробностей об условиях оценки и ограничениях качества, поэтому приведённый WER следует рассматривать только как результат на указанной оценочной выборке.

Модель Elizabeth Mwangi — дообученная версия OpenAI Whisper large-v3 для автоматического распознавания речи на суахили. Она обучена на данных всех пяти доменов AfriVoice и на Common Voice Swahili; в первую очередь предназначена для речи кенийских говорящих, в том числе с нестандартными речевыми особенностями. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors. Модель подходит для транскрибации записей на суахили, включая речь из разных прикладных доменов. В README приведены результаты на тестовых наборах: WER 0,244 на AfriVoice и 0,201 на Common Voice Swahili. Это показатели на указанных наборах, поэтому качество на других источниках и условиях записи может отличаться. Лицензия — Apache-2.0.

asthrabala/whisper-medium-finetuned — модель автоматического распознавания речи семейства Whisper с 455,8 млн параметров. Она опубликована для использования с библиотекой Transformers и предназначена для преобразования аудиозаписей в текст. Модель подходит для транскрибации голосовых сообщений, интервью, встреч, лекций и других аудиоматериалов. README не содержит сведений о конкретном языке или наборе данных, на котором выполнялось дообучение, поэтому языковую специализацию и качество на отдельных типах аудио определить нельзя. В карточке модели не указаны разработчик, лицензия, результаты оценки, ограничения по применению и подробности обучения. Перед использованием в критически важных сценариях необходимы собственная проверка качества и уточнение условий лицензирования.

vumichien/whisper-small-ja — модель распознавания японской речи, полученная дообучением Whisper Small от OpenAI на японской части Mozilla Common Voice 11.0. Она принимает аудио и генерирует текстовую транскрипцию; архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров. Модель подходит для преобразования японской речи в текст. На указанном в карточке наборе оценки достигнуты значения WER 13,4679 и CER 8,6022. Базовая Whisper Small также поддерживает несколько языков и перевод аудио на английский, однако карточка этой версии описывает дообучение именно для японского распознавания. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

Jeremy-p/whisper-small-qc-fr — дообученная версия мультиязычной модели OpenAI Whisper-small для распознавания речи, с повышенным весом квебекского французского в обучающей смеси французского и английского языков. Это плотная encoder-decoder модель WhisperForConditionalGeneration; в данном репозитории опубликованы веса fp32 для Transformers, а отдельная версия CTranslate2 int8 предназначена для faster-whisper. Обучающая смесь использовала французские данные с вероятностью выборки 0,90 и английские — 0,10. Модель предназначена для транскрибирования аудио на квебекском французском и английском. В приведённой оценке она улучшила показатели исходной Whisper-small по WER на обоих языках и превзошла Qwen3-ASR-0.6B на французской выборке, но уступила ей на английской; размеры выборок составили 100 французских и 324 английских примера. Максимальная длина целевых последовательностей при обучении была ограничена 448 токенами. Лицензия — MIT.

Whisper-small-vaani-hindi — дообученная модель распознавания речи, созданная на основе Whisper Small компании OpenAI. По данным карточки, её обучали примерно на 718 часах размеченной речи на хинди из нескольких наборов данных, включая Vaani, Gramvaani, IndicVoices, Fleurs, IndicTTS и Common Voice. Модель содержит 153,1 млн параметров и принимает аудио, выдавая его текстовую расшифровку. Модель предназначена для транскрибирования речи на хинди. В README приведены результаты оценки по WER: 32,49 на Gramvaani, 19,08 на Fleurs и 11,33 на IndicTTS. Показатели зависят от набора данных и указывают на различия в качестве распознавания между тестовыми корпусами. Репозиторий распространяется по лицензии Apache-2.0.

Plim/xls-r-1b-cv_8-fr — акустическая модель распознавания французской речи, дообученная на датасете Mozilla Foundation Common Voice 8.0, конфигурация fr. Она основана на facebook/wav2vec2-xls-r-1b и использует архитектуру wav2vec2 с CTC-декодированием; число параметров — около 1,3 млрд. Модель принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для автоматической транскрипции французской речи, в том числе записей, похожих на данные Common Voice. В README приведены результаты оценки: на тестовой выборке Common Voice WER составляет 18,33 без языковой модели и 15,40 с ней; на dev-выборке speech-recognition-community-v2 — 31,33 и 25,05 соответственно. Лицензия — Apache-2.0. Показатели зависят от набора данных и декодирования, а результатов для тестовой выборки audio в карточке нет.

Canary-1b-v2-gguf — это GGUF-конверсия модели Canary 1B v2 от NVIDIA, адаптированная командой handy-computer для запуска в transcribe.cpp. Модель предназначена для офлайн-распознавания речи и перевода в аудио на 25 европейских языках: болгарском, хорватском, чешском, датском, нидерландском, английском, эстонском, финском, французском, немецком, греческом, венгерском, итальянском, латышском, литовском, мальтийском, польском, португальском, румынском, словацком, словенском, испанском, шведском, русском и украинском. Распознавание поддерживается для всех перечисленных языков, а перевод — между английским и остальными языками согласно карточке базовой модели. Это мультитасковая encoder-decoder-модель типа AED примерно на 978 млн параметров, с 32-слойным энкодером FastConformer и 8-слойным Transformer-декодером. На вход подаётся монофонический WAV с частотой 16 кГц. Доступны варианты квантования F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 735 МБ до 3,92 ГБ. На LibriSpeech test-clean заявленный показатель WER составляет около 1,91–1,94% в зависимости от варианта. Модель работает офлайн и поддерживает перевод, но не предназначена для потоковой обработки, автоматического определения языка и вывода временных меток слов или сегментов. Сильными сторонами являются мультиязычность, поддержка распознавания и перевода, хорошее качество на англоязычном тестовом наборе и возможность локального запуска на CPU или GPU через transcribe.cpp. Для использования требуется преобразовать аудио в формат 16 кГц mono WAV и выбрать подходящий GGUF-вариант с учётом доступной памяти и требований к скорости. Лицензия унаследована от базовой модели и указана как CC-BY-4.0.

OpenVINO/distil-whisper-large-v3-int8-ov — версия модели distil-large-v3 от Distil-whisper, преобразованная в формат OpenVINO IR и сжата до INT8 с помощью NNCF. Модель предназначена для автоматического распознавания речи по аудио; архитектура основана на Whisper и содержит около 905,2 млн параметров. Квантизация выполнена с параметрами INT8_ASYM и group_size 128. Модель совместима с OpenVINO версии 2025.2.0 и выше и Optimum Intel 1.23.0 и выше. В метаданных указан английский язык. Лицензия — MIT, как у исходной модели. Карточка отсылает к описанию исходной модели за подробностями об ограничениях. Заявленная совместимость ограничена указанными версиями OpenVINO и Optimum Intel.

EraX-WoW-Turbo V1.1 — модель распознавания речи команды EraX, дообученная на основе openai/whisper-large-v3-turbo. Это мультиязычная архитектура Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст. По данным карточки, обучение включало около 600 тысяч примеров и 1000 часов аудио на 11 языках: вьетнамском, английском, китайском, кантонском, индонезийском, корейском, японском, русском, немецком, французском и нидерландском. Модель рассчитана на транскрибацию в реальном времени, создание субтитров, расшифровку встреч и голосовые интерфейсы. В README заявлены скорость обработки 30 секунд аудио примерно за 350 мс и предварительный WER около 12%, однако авторы отмечают, что результаты бенчмарков ещё уточняются. Модель поддерживает входное аудио и выдаёт текст; карточка отдельно указывает возможные трудности с детской речью и тихим шёпотом. Лицензия — MIT.

cstr/funasr-nano-GGUF — это GGUF-версия модели Fun-ASR-Nano-2512, разработанной Alibaba и FunAudioLLM и перепакованной для работы с backend funasr в CrispASR. Модель предназначена для автоматического распознавания и транскрибации речи на китайском (мандарин и кантонский), английском, японском и корейском языках. Архитектура включает 70-блочный SANM-энкодер SenseVoiceSmall, двухблочный Transformer-аудиоадаптер и декодер на базе Qwen3-0.6B с 28 слоями и GQA. Речь передаётся в языковую модель через ChatML-промпт, а генерация выполняется авторегрессионно с использованием KV-кэша. В репозитории доступны варианты F16, Q8_0 и Q4_K; последний имеет размер около 897 МБ и рекомендован как вариант по умолчанию. Опубликованные веса используют только путь через LLM-декодер, без рабочего CTC-декодера. Модель подходит для локальной транскрибации аудиозаписей и интеграции в приложения через CrispASR. Сильными сторонами являются компактный размер, поддержка нескольких языков и близкое к исходному качество у квантованных вариантов. Ограничение — английский вывод может быть в верхнем регистре и без пунктуации; для нормализации регистра и расстановки знаков препинания требуется отдельная модель. Код распространяется по Apache-2.0, а веса — по FunASR Model License v1.1: коммерческое использование разрешено при указании авторства Alibaba и FunAudioLLM.

BuzzASR/georgian — монолингвальная модель распознавания речи на грузинском языке, разработанная в рамках набора BuzzASR из 102 языковых моделей. Она создана полным дообучением OpenAI Whisper large-v3 с заменой токенизатора на грузинский и дополнительным обучением на текстовых данных. Модель принимает аудио и генерирует текст; её основная задача — транскрибация грузинской речи. В оценке на объединённом тестовом наборе FLEURS и Common Voice 25 модель показала CER 12,54% и WER 39,39%; CER у Whisper large-v3 без дообучения составил 19,43%. Обучение использовало данные FLEURS, Common Voice Corpus 25.0 и текстовый корпус Goldfish. Модель содержит около 907,3 млн параметров, основана на архитектуре Whisper и распространяется в формате Safetensors через Transformers. Модель предназначена для распознавания грузинской речи. Она оценивалась на тестовых выборках FLEURS и Common Voice; качество на других предметных областях и диалектах может отличаться. Лицензия — MIT.

Модель dianavdavidson/indic_whisper_hi_multi_gpu_iv_hindi_only_62612_ratio_alldata_lr_1e-4_lgid_None_epochs_100_FT — дообученная версия WhisperForConditionalGeneration на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио на хинди. В карточке указаны результаты оценки: loss 0,2428 и Global WER 25,6713. Набор данных, подробности обучения и дополнительные ограничения не описаны. Модель распространяется в формате Safetensors по лицензии MIT.

Это дообученная модель WhisperForConditionalGeneration на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает дообучение на наборе данных None. На тестовой выборке приведены Loss 0,4623 и Global WER 30,7295. Модель принимает аудио и выдаёт текст; базовая модель предназначена для индийских языков, а для этого варианта подтверждена поддержка хинди. Выпущена в формате safetensors для Transformers под лицензией MIT.

MiMo-V2.5-ASR-8B-NOESIS-BF16 — версия модели распознавания речи Xiaomi MiMo-V2.5-ASR-8B, подготовленная AMAImedia для платформы автоматизации дубляжа NOESIS. Это плотная причинная языковая модель на архитектуре MiMoV2ASRForCausalLM, производной от Qwen2; в аудиотракте используются аудиотокены с параметрами n_rvq=20 и group_size=4. Веса преобразованы из FP32 в BF16 для уменьшения занимаемого места и совместимости с инструментами PEFT; дообучение модели не заявлено. По данным карточки, модель предназначена для распознавания и транскрибации речи на китайском путунхуа, английском и кантонском языках. Контекст составляет 8192 токена. Модель подходит для многоязычной транскрибации и как компонент конвейера кинодубляжа; BF16-сборка также рассчитана на запуск на оборудовании с нативной поддержкой BF16 и на использование в качестве основы для адаптерного дообучения или учителя при дистилляции. Карточка не приводит оценок точности или подробных условий работы с разными акустическими условиями. Лицензия — MIT.

Mahmoud Ashraf опубликовал конверсию чекпойнта MMS-300M из TorchAudio в формат Hugging Face Transformers. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; в README она описана как обученная на данных для принудительного выравнивания речи и текста. Модель предназначена для forced alignment: сопоставления заданного текста с аудиозаписью и определения временного положения слов или токенов. Это полезно для подготовки субтитров, разметки речевых данных и анализа произнесённой речи. Она принимает аудио и связана с распознаванием речи; для работы выравнивателя требуется текст, который нужно сопоставить с записью. Чекпойнт сохранён в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

AMAImedia выпустила NOESIS-Qwen3-Forced-Aligner-0.6B-112LANG-BF16 как компонент платформы автоматизации многоязычного дубляжа. Это дообученная версия Qwen3-ForcedAligner-0.6B от Alibaba: модель принимает аудио вместе с готовым текстом и определяет временные метки слов или символов, а не распознаёт речь с нуля. Она рассчитана на выравнивание фрагментов длительностью до пяти минут и, согласно карточке, обучена для 112 языков. Модель предназначена для подготовки субтитров, караоке-разметки и синхронизации реплик в многоязычных системах дубляжа. В README сообщается о тестировании на 112 языках; для части языков с более низкими строгими метриками автор рекомендует применять постобработку временных меток. Заявленные результаты тестирования и оценка готовности приведены разработчиком модели. Модель использует архитектуру Qwen3 ASR и распространяется в формате safetensors. Лицензия — Apache-2.0. Для аудио длиннее пяти минут требуется обработка окнами; сама модель не предназначена для получения транскрипции из аудио без исходного текста.

Nue ASR — модель для сквозного распознавания японской речи, первоначально выпущенная компанией rinna Co., Ltd.; этот репозиторий является её зеркалом. Архитектура объединяет аудиоэнкодер HuBERT, мостовую сеть и декодер GPT-NeoX. Веса энкодера и декодера инициализированы из japanese-hubert-base и japanese-gpt-neox-3.6b соответственно. Модель обучали примерно на 19 000 часах японской речи из ReazonSpeech v1; из обучения исключали аудиозаписи длиннее 16 секунд. Она предназначена для транскрибирования японской речи и, по данным карточки, может распознавать речь быстрее реального времени при использовании GPU. Для работы с аудио поддерживаются файлы, массивы NumPy и тензоры PyTorch; входные файлы автоматически приводятся к частоте 16 кГц. Лицензия — Apache 2.0.

omniASR-CTC-300M-v2-Zulu-Lwazi — модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, преобразованная из контрольной точки OmniLingual fairseq2 omniASR_CTC_300M_v2. Она принимает аудио и выдаёт логиты CTC по словарю SentencePiece, которые используются для транскрибирования речи. Архитектура включает 24 слоя энкодера и скрытый размер 1024; в метаданных указано 413,2 млн параметров. README подтверждает численное соответствие исходной контрольной точке на тестовом аудиофрагменте. Модель предназначена для автоматического распознавания речи. В названии указаны Zulu и Lwazi, однако README сообщает о поддержке нескольких языков и не перечисляет их, поэтому основной язык определить нельзя. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

istupakov/parakeet-tdt-0.6b-v2-onnx — это версия модели NVIDIA Parakeet TDT 0.6B V2, преобразованная в формат ONNX для использования с библиотекой onnx-asr. Модель предназначена для автоматического распознавания речи и преобразования аудиозаписей, в частности WAV-файлов, в текст на английском языке. Базовая модель разработана NVIDIA, а экспорт в ONNX подготовлен для совместимости с onnx-asr. Модель имеет размер 0,6 млрд параметров и использует архитектуру Parakeet TDT; точные сведения о модальностях, максимальной длине контекста и дополнительных языках в README не указаны. Формат ONNX и поддержка onnx-asr позволяют запускать распознавание через соответствующую библиотеку, включая CPU-вариант. Ограничения модели связаны с заявленной специализацией на английской речи и отсутствием в доступных данных подробных характеристик качества, производительности и поддержки других аудиоформатов. Модель распространяется по лицензии CC BY 4.0.

nectec/Pathumma-whisper-th-large-v3 — модель распознавания речи команды Pathumma Audio Team. Она основана на Whisper large-v3 от OpenAI и дообучена для распознавания тайского языка; карточка также указывает английский среди языков модели. Модель содержит около 905,2 млн параметров и доступна в формате safetensors для библиотеки Transformers. Модель предназначена для преобразования аудиозаписей в текст. Её можно использовать для транскрибации тайской и английской речи. README содержит пример запуска через класс pipeline в Transformers, но не приводит подробностей о данных дообучения или результатах оценки качества. Лицензия — Apache-2.0.

Piyola-v1 — модель автоматического распознавания речи на узбекском языке, созданная дообучением Whisper Large V3 Turbo. Она принимает аудио и преобразует речь в текст; подходит для транскрибации узбекских записей. Модель основана на архитектуре Whisper, содержит около 905,2 млн параметров и опубликована в формате safetensors с точностью BF16. Лицензия — Apache-2.0.

Карточка модели Uzbekswe/uzbek_stt_v1 на Hugging Face совпадает с карточкой Kotib/uzbek_stt_v1, поэтому описание составлено по ней. Kotib/uzbek_stt_v1 — модель автоматического распознавания речи, разработанная командами Kotibai и Rubai и дообученная на базе OpenAI Whisper Medium. Она принимает аудио и преобразует узбекскую речь в текст; модель рассчитана прежде всего на узбекский язык и латинскую письменность, включая некоторые русские заимствования, произнесённые в узбекской речи. Архитектура Whisper, 455,8 млн параметров; модель использует формат safetensors и библиотеку Transformers. Для обучения использовали около 1 600 часов узбекского аудио, а оценку провели на 1 864 примерах из восьми тестовых наборов. В карточке указана общая доля ошибок WER 16,7%; на чистой речи — около 6–11%, на шумной или дополненной — около 12–24%. Модель подходит для расшифровки речи, диктовки, голосовых помощников и создания субтитров. Качество снижается при сильном шуме и частом переключении между языками; модель оптимизирована для узбекского. Лицензия — Apache-2.0.

facebook/wav2vec2-base-10k-voxpopuli-ft-de — модель распознавания речи на базе Wav2Vec2 от Facebook AI. Сначала её предварительно обучили на 10 тысячах часов неразмеченной речи из VoxPopuli, затем дообучили на расшифрованных немецкоязычных данных из этого корпуса. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров. Модель принимает аудио и преобразует немецкую речь в текст. Она предназначена для автоматической транскрибации немецкой речи, включая обработку записей и аудиоданных в приложениях распознавания речи. Для использования указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

Wav2Vec2-Base-VoxPopuli-Finetuned — модель распознавания речи, разработанная Facebook AI. Она основана на Wav2Vec2 Base: предварительно обучена на 10 тысячах неразмеченных примеров корпуса VoxPopuli, затем дообучена на транскрибированных испанских аудиозаписях. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров; модель принимает аудио и преобразует речь в текст на испанском языке. Модель предназначена для автоматической транскрипции испанской речи, в том числе аудиозаписей, похожих на данные VoxPopuli. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 требует указания авторства и не разрешает коммерческое использование.

Модель Multilingual Speech Recognition for Indonesian Languages разработана для проекта распознавания речи на индонезийских языках. Это дообученная facebook/wav2vec2-large-xlsr-53 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров. Она принимает аудио, рассчитанное на частоту дискретизации 16 кГц, и преобразует речь в текст без обязательного использования языковой модели. Модель обучалась на данных Common Voice для индонезийского языка, а также на высококачественных синтетических речевых данных для яванского и сунданского языков. Её можно применять для транскрибирования записей и в речевых интерфейсах, работающих с этими языками. README приводит результат оценки 11,57% на тестовой части Common Voice для индонезийского языка, но не уточняет метрику. Модель распространяется по лицензии Apache-2.0. Для работы следует подавать аудио с частотой 16 кГц; качество распознавания для разных языков и условий записи может различаться.