I.9Аудио и музыка

Модель HiTZ/stt_eu_conformer_transducer_large_v2 разработана HiTZ Basque Center for Language Technology и лабораторией Aholab Signal Processing Laboratory Университета Страны Басков. Это система автоматического распознавания речи на основе архитектуры Conformer-Transducer с примерно 119 млн параметров, дообученная от испанской модели stt_es_conformer_transducer_large с использованием NVIDIA NeMo. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает распознанную речь в виде текста. Она предназначена для транскрибации баскской речи; обучение проводилось на составном корпусе объёмом 771,73 часа, включающем Common Voice 18.0, записи парламента Басков, OpenSLR и программы EITB. Текст выдаётся строчными буквами. В тестах с жадным декодированием указаны значения WER от 2,50% на тестовой части Common Voice 18.0 до 11,87% на OpenSLR. Точность может снижаться на технической лексике, непривычной разговорной речи и речи с акцентом. Лицензия — Apache 2.0.

Модель Harveenchadha/vakyansh-wav2vec2-hindi-him-4200 — модель распознавания речи на базе Wav2Vec2ForCTC, разработанная командой Vakyansh при Ekstep. Она дообучена на многоязычной предварительно обученной модели CLSRIL-23 и предназначена для преобразования речи на хинди в текст. Обучение проводилось на 4200 часах размеченных аудиоданных на хинди. Модель содержит около 113,3 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Она выдаёт распознанный текст на хинди; языковая модель для декодирования не используется. В тесте на данных Common Voice для хинди указано значение 33,17%, но README не уточняет метрику, поэтому этот результат следует интерпретировать осторожно. Размеченные обучающие данные не опубликованы. Лицензия модели — MIT.

Это модель автоматического распознавания речи на белорусском языке, созданная дообучением facebook/wav2vec2-base. Разработчик обучал её на разделах Train, Dev и Test корпуса Mozilla Common Voice 8.0 для белорусского языка; дополнительные записи из раздела Validated не использовались. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров. Модель преобразует аудиозапись речи в текст и рассчитана на сценарии распознавания белорусской речи. Для декодирования также подготовлена 5-граммная языковая модель KenLM, обученная на предложениях из корпуса Common Voice. Репозиторий содержит веса PyTorch и распространяется по лицензии GPL-3.0. Качество может быть ограничено объёмом и составом использованных данных: в обучающих разделах использовали только одну озвучку каждого предложения, без дополнительных вариантов из Validated. README предлагает расширить обучающие данные дополнительными озвучками; численные результаты оценки в карточке не приведены.

facebook/wav2vec2-large-es-voxpopuli — большая модель Facebook AI на архитектуре Wav2Vec2, предварительно обученная на неразмеченной испаноязычной части корпуса VoxPopuli. Модель содержит 402,7 млн параметров и предназначена для использования как основа для распознавания речи после тонкой настройки на целевой задаче. Она принимает аудио и поддерживает автоматическое распознавание речи на испанском языке. Чекпойнт доступен в форматах PyTorch и Flax; карточка рекомендует дообучить его для конкретного языка или сценария. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но некоммерческое.

Wav2Vec2-Large-XLSR-53-Dhivehi — модель распознавания речи, созданная Shahukareem путём дообучения facebook/wav2vec2-large-xlsr-53 на данных Common Voice для языка дивехи. Она принимает аудио с частотой дискретизации 16 кГц и выдаёт распознанный текст; заявленный результат на тестовой выборке Common Voice для дивехи — 32,85%. Модель основана на архитектуре Wav2Vec2ForCTC, содержит 402,7 млн параметров и распространяется в формате PyTorch. Модель предназначена для автоматической транскрибации речи на дивехи, в том числе аудиозаписей и материалов, похожих на данные Common Voice. В README нет сведений о применении языковой модели при распознавании; приведённый результат относится к оценке без описания дополнительных условий. Лицензия — Apache-2.0.

Модель PereLluis13/wav2vec2-xls-r-300m-ca — версия wav2vec 2.0 XLS-R, дообученная на распознавание каталанской речи. Её подготовил PereLluis13 на основе facebook/wav2vec2-xls-r-300m с использованием данных Common Voice 8.0 для каталанского языка, tv3_parla и parlament_parla. Архитектура — Wav2Vec2ForCTC; в репозитории указано около 402,7 млн параметров, веса представлены в формате PyTorch. Модель принимает аудио и преобразует речь в текст. В README приведён результат оценки WER 0,1499 на тестовых наборах трёх использованных корпусов. Она предназначена прежде всего для распознавания каталанской речи; на диалектах с меньшим объёмом обучающих данных может работать хуже. Также возможны смещения и особенности, унаследованные от краудсорсинговых и парламентских данных. Лицензия — Apache-2.0.

anuragshas/wav2vec2-xls-r-300m-lv-cv8-with-lm — модель автоматического распознавания латышской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на датасете Mozilla Common Voice 8.0 для латышского языка. Архитектура основана на Wav2Vec2 с CTC-декодированием; в репозитории указано около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст. На тестовой части Common Voice 8.0 в карточке приведены WER 0,1705 и результат WER 9,633 при оценке с языковой моделью; без языковой модели — 16,997. Она подходит для распознавания латышской речи в аудиозаписях и оценки качества ASR. Лицензия — Apache-2.0. Карточка содержит мало сведений о рекомендуемых условиях применения и ограничениях; приведённые метрики относятся к конкретному набору данных и не гарантируют качество на других источниках аудио.

anaszil/whisper-large-v3-turbo-darija — LoRA-адаптер модели OpenAI Whisper Large v3 Turbo, дообученный автором anaszil для автоматического распознавания речи на марокканской арабской дариже (Darija, код ary). Модель имеет архитектуру encoder-decoder ASR и предназначена для преобразования аудио в текст, включая расшифровку разговоров службы поддержки, интервью и голосовых сообщений. Адаптер дообучен на очищенном и сегментированном частном корпусе марокканской дарижи с фрагментами длительностью до 30 секунд. Он применяется поверх базовой модели openai/whisper-large-v3-turbo; для использования требуются библиотеки PEFT и Transformers. LoRA-адаптеры затрагивают слои энкодера и декодера, включая q_proj, k_proj, v_proj, out_proj, fc1 и fc2. В README не указаны дополнительные языки, размер модели или точная длина контекста; для инференса рекомендуется обработка аудио с размером фрагмента 30 секунд. На отложенной выборке из того же распределения данных заявлены WER 24,88%, CER 8,28% и evaluation loss 0,322. Низкий CER при более высоком WER связывается с отсутствием единой орфографии дарижи и вариативностью написания слов, поэтому результаты могут зависеть от особенностей датасета и не гарантируют аналогичную точность на других источниках речи. Данные о частном обучающем корпусе должны быть опубликованы позднее. Модель распространяется по лицензии MIT.

Whisper Large Chinese (Mandarin) — модель распознавания речи, созданная Jonatas Grosman на основе openai/whisper-large-v2. Она дообучена на китайском мандаринском языке с использованием обучающей и валидационной частей Common Voice 11; модель Whisper Large содержит около 905,2 млн параметров и доступна в формате PyTorch. Модель предназначена для преобразования китайской речи в текст. В README приведены оценки на тестовых выборках Common Voice 11 и Fleurs, включая варианты с нормализацией регистра и пунктуации. Результаты на Fleurs показывают, что различия в записи чисел между наборами данных могут влиять на качество транскрипции. Модель распространяется по лицензии Apache-2.0. Она специализирована на мандаринском китайском, поэтому её не следует считать универсальной многоязычной моделью распознавания речи; качество может зависеть от набора данных и способа записи чисел.

Seyfelislem/whisper-medium-arabic — дообученная модель распознавания речи на базе OpenAI Whisper Medium, содержащая 455,8 млн параметров. Она принимает аудио и преобразует речь в текст; заявленная специализация — арабская речь. В README приведены результаты оценки: loss 0,2194 и WER 18,2888, однако набор данных и условия оценки не описаны. Модель построена на архитектуре Whisper и распространяется в форматах PyTorch и Safetensors. Базовая Whisper Medium также поддерживает многоязычное распознавание и перевод речи, но карточка этой производной модели подтверждает только распознавание речи. Лицензия — Apache-2.0.

Это дообученная Zainab11 модель распознавания речи на базе OpenAI Whisper Small с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Она обучена на арабской части Google FLEURS ar_eg: примерно шесть часов записанной речи на современном стандартном арабском языке от дикторов с египетским акцентом. Модель предназначена для преобразования арабской речи в текст. На тестовой выборке FLEURS она показала нормализованный WER 19,9% против 28,0% у исходной Whisper Small. На спонтанной египетской разговорной речи результаты заметно хуже: нормализованный WER составил 81,2%, поэтому для такого сценария модель не подходит без дополнительного дообучения. Использование библиотеки Transformers и весов safetensors указано в метаданных; лицензия — Apache-2.0. Пример использования ограничивает аудио 30 секундами и обрезает более длинные записи; для них README рекомендует разбиение на фрагменты или chunked pipeline. Модель также наследует известное поведение Whisper: повторы и галлюцинации при обработке длинной речи.

Whisper Small - Libyan Arabic — дообученная Tasneem Sheeha (Tass02) модель OpenAI Whisper Small для автоматического распознавания речи на ливийском диалекте арабского языка. Она основана на Whisper Small и обучена с применением LoRA, после чего адаптер объединён с весами базовой модели, поэтому модель можно запускать без отдельной загрузки адаптера. Репозиторий содержит веса в формате safetensors. Модель предназначена для преобразования аудио на ливийском арабском в текст, например для транскрибирования записей и голосовых сообщений. Для обучения использовалось 5 357 аудиопримеров; в карточке приведены значения тренировочной и валидационной функции потерь. Модель принимает аудио и выдаёт текст. Лицензия — Apache 2.0.

Whisper Small Myanmar Partial Freezing — дообученная модель распознавания речи на основе Whisper Small от OpenAI, предназначенная для транскрибирования речи на бирманском языке. Она принимает аудио и выдаёт текст; в карточке описано частичное замораживание энкодера: слои 0–7 оставались замороженными, а слои 8–11 энкодера и все слои декодера обучались. Для бирманской тональной речи применялись изменение скорости аудио и аугментация спектрограммы с сохранением частот основного тона. В README приведены результаты на тестировании: CER 17,94%, WER 56,31% и точное совпадение предложения 2,06%; качество может различаться на других данных и условиях записи. Модель содержит 153,1 млн параметров по метаданным каталога и распространяется в формате safetensors под лицензией Apache-2.0.

ronnybscales/whisper-small-shona-waxal — дообученная модель автоматического распознавания речи на основе Whisper Small от OpenAI. Она предназначена для преобразования входящей речи в текст; название модели указывает на специализацию для языка шона. В карточке приведены результаты оценки: WER 52,01 и eval_loss 0,5100 после примерно 2 эпох обучения. Модель построена на архитектуре Whisper и распространяется в формате Safetensors через Transformers. Лицензия — Apache 2.0. Подробности о данных обучения и условиях оценки в карточке не описаны.

Whisper Telugu Base — модель распознавания речи на телугу, созданная участниками Whisper fine-tuning sprint путём дообучения openai/whisper-base на открытых корпусах ASR. Она предназначена для преобразования речи на телугу в текст и оценки качества распознавания на тестовых наборах индийских языков и многоязычных речевых корпусов. Модель основана на архитектуре WhisperForConditionalGeneration, содержит 51,7 млн параметров и принимает аудио, выдавая текст. В репозитории представлены веса PyTorch и Flax; для оценки авторы указывают код из whisper-finetune. Обучающие данные включают CSTD IIIT-H, ULCA, Shrutilipi, Microsoft Speech Corpus для индийских языков, Google Fleurs и Babel; для оценки перечислены тестовые наборы Microsoft, Fleurs, OpenSLR и Babel. Модель распространяется по лицензии Apache-2.0. Результаты могут зависеть от качества записи и соответствия аудио телугу; в карточке не приведены численные метрики качества.

Это конвертированная в формат CTranslate2 и квантованная до int8 модель Whisper Turbo Khmer v9 для распознавания речи на кхмерском языке. Исходную модель разработали авторы репозитория 1morecupofhottea/whisper-turbo-khmer-v9; этот репозиторий меняет формат весов для запуска на CPU. Модель преобразует аудио с кхмерской речью в текст. В README приведён результат CER 0,1645 на 150 фразах FLEURS для km_kh и медианное время обработки 5,62 секунды на фразу при четырёх потоках CPU; это собственная оценка платформы Vatana AI, а не независимый бенчмарк. Для декодирования README рекомендует использовать CTranslate2 напрямую и удалять управляющие токены по имени: сборка текста в faster-whisper может некорректно обрабатывать кхмерские токены. Указана лицензия MIT.

Pricile разработала wbertcur — единую модель распознавания речи для шести восточноафриканских языков, созданную для соревнования AfriVoices East Africa ASR Hackathon. Модель построена на архитектуре Wav2Vec2-BERT (Conformer) с символьной CTC-головой; в репозитории указано 402,7 млн параметров. Она принимает аудио и преобразует речь в текст на суахили, кикую, дхолуо, календжине, маасаи и сомали. Модель предназначена для распознавания речи на CPU-устройствах с ограниченными ресурсами. В README приводятся измерения для int8-развёртывания на CPU: пиковая память 5,53 ГБ. Для улучшения качества авторы также проверяли декодирование с языковой моделью KenLM; для него требуется заранее знать язык аудио или отдельно определить его. Модель обучена на данных AfriVoices-KE и оценивалась на близком распределении, включающем прочитанную и спонтанную речь. Указанная лицензия модели — MIT.

Ethio-ASR — модель распознавания речи, разработанная командой Ethio-ASR и дообученная на базе ajesujoba/AfriHuBERT на речевом наборе WAXAL Speech Dataset. Репозиторий содержит модель архитектуры HuBERT с CTC-декодированием; в метаданных указано 113,6 млн параметров, формат весов safetensors и библиотека Transformers. Модель предназначена для транскрибирования амхарской, тигринья, афаан-оромо, сидама и волайтта речи. Её можно использовать в голосовых помощниках и инструментах доступности, а также как исследовательскую базовую модель. В README также заявлена идентификация языка речи. На тестовом наборе WAXAL приведены результаты распознавания по пяти языкам. Качество может различаться в зависимости от диалекта, возраста и пола говорящего, а также качества записи. Для шумного аудио без предварительного улучшения речи модель не рекомендована; для критически важных сценариев требуется проверка человеком. Лицензия CC-BY-NC-SA 4.0 ограничивает использование условиями атрибуции, распространения на тех же условиях и некоммерческого применения.

Это дообученная AI4Bharat модель распознавания речи на базе ai4bharat/indicwav2vec-hindi. Она использует архитектуру Wav2Vec2 с CTC-декодированием и предназначена для преобразования аудиоречи на хинди в текст. Модель содержит 402,7 млн параметров и распространяется в формате Safetensors для библиотеки Transformers. На указанном в карточке наборе оценки модель достигла loss 0,3157 и глобального WER 15,1236. Данные обучения и подробные ограничения в карточке не раскрыты. Лицензия — Apache-2.0.

freococo разработал компактную модель распознавания речи на бирманском языке, обученную с нуля на 1,66 млн высказываний. Модель состоит из 12-слойного Conformer-энкодера с совместными CTC- и attention-декодерами и содержит около 23,8 млн параметров. Она преобразует аудио в текст на бирманском, выдавая последовательности слогов. Для работы требуется монофонический звук с частотой 16 кГц; скрипт транскрипции может автоматически привести распространённые аудиоформаты к этим параметрам. Модель рассчитана на разные типы речи, включая новости, разговорную речь и чтение, и подходит для запуска на CPU и потребительских GPU. На отложенной выборке указана частота ошибок по слогам SER 9,42%, а на независимой веб-выборке — 12,30%. Вес модели опубликован в формате safetensors, библиотека — PyTorch. Лицензия Apache 2.0.

Ndizi African ASR — модель распознавания речи, созданная smutuvi на основе Sunbird/Sunflower-Gemma4-E2B. Это объединённый чекпойнт для инференса на GPU или сервере; в него включены веса LoRA и компонент embed_audio. Для распознавания аудио README предлагает использовать языковой промпт на суахили, амхарском или оромо и получать текстовую расшифровку. Модель дообучена на данных для этих трёх языков, включая полевую речь на суахили и наборы ALFFA и Amharic Speech. На двух тестовых выборках Ndizi для суахили указанный WER составил 0,528 и 0,398; результаты не характеризуют качество на других доменах. Амхарский и оромо представлены в обучении, но README советует подавать соответствующие языковые промпты. Версия модели — v1; более поздние адаптеры меняют баланс качества для суахили и оромо. Модель использует архитектуру Gemma 4 и распространяется в формате safetensors через Transformers. Лицензия — Gemma. README предназначает этот репозиторий для GPU и серверов; для телефонов и периферийных устройств указан отдельный LiteRT-вариант.

Это дообученная NVIDIA Nemotron 3.5 ASR Streaming 0.6B модель для потокового распознавания речи на гаитянском креольском (Kreyòl Ayisyen). Она использует архитектуру FastConformer RNN-T с учётом контекста потоковой обработки и языковым промптом; для выбора языка требуется указать `target_lang="ht-HT"`. Модель рассчитана на преобразование аудио в текст и поддерживает настройку размера контекста для компромисса между задержкой и качеством распознавания. На тесте из 332 записей автор сообщает WER 10,11% при задержке 320 мс и CER 2,83%. Модель не сохраняет многоязычное поведение исходного чекпойнта: промпты для французского и английского также могут выдавать креольский текст. Остаточные ошибки связаны, среди прочего, с границами слов, именами и числами; длинные записи изучены хуже, а часть обучающих транскриптов машинно сгенерирована. Для работы README приводит загрузку через NeMo; поддержка Transformers не заявлена. Лицензия в метаданных указана как `other`, без уточнения условий в предоставленной карточке.

Модель Wav2Vec2-Large-XLSR-53-Punjabi разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для распознавания речи на пенджаби с использованием Common Voice. Она преобразует аудиозапись в текст и подходит для транскрибирования записей и оценки распознавания речи на тестовых данных Common Voice. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; для входного аудио требуется частота дискретизации 16 кГц. В README приведён результат оценки 57,31%, но не уточнена метрика. Модель принимает аудио и выдаёт текст. Опубликованы веса в форматах PyTorch, Flax и safetensors. Лицензия — Apache-2.0.

Whispeer — дообученная модель семейства Whisper от автора HariprasathSB, основанная на vasista22/whisper-tamil-medium. Она предназначена для автоматического распознавания речи: принимает аудио и преобразует его в текст. Модель содержит около 455,8 млн параметров и опубликована в формате safetensors. Модель ориентирована на распознавание тамильской речи. Базовая карточка указывает Apache License 2.0. В README не приведены сведения о датасете обучения и результатах оценки, поэтому качество на конкретных записях и сценариях по имеющимся данным оценить нельзя.

kinit/whisper-large-v3-sk — модель распознавания словацкой речи, разработанная командой KInIT на основе Whisper large-v3 от OpenAI. Модель с архитектурой Whisper encoder-decoder дообучена на словацком речевом корпусе; в метаданных указано 905,2 млн параметров. Для повышения устойчивости к шуму при обучении применялась аугментация фоновой среды. Модель предназначена для автоматической транскрибации словацкой речи в разных предметных областях и условиях записи. В оценке на Common Voice 24.0 указаны WER 7,68% и CER 2,27%; на внутреннем тестовом наборе KInIT — WER 5,67% и CER 3,01%. Модель опубликована в формате safetensors и используется через Transformers. Дообучение только на словацких данных существенно ухудшило распознавание других языков, поэтому для многоязычной транскрибации следует использовать базовую Whisper large-v3. Качество может снижаться на сильных акцентах, диалектах и речи из областей, слабо представленных в обучении; надёжная длина одного сегмента без разбиения — до 30 секунд. Лицензия — Apache-2.0.

sitwala/whisper-large-v3-turbo-anv-zul-250h — дообученная модель семейства Whisper, созданная на основе openai/whisper-large-v3-turbo и обученная на датасете dsfsi-anv/za-african-next-voices. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; для работы доступны веса в формате safetensors. В README приведены результаты оценки на тестовом наборе: loss 0,3412 и WER 24,8599. Название модели указывает на язык zul, то есть зулу; отдельного описания обучения, рекомендуемых сценариев и ограничений автор не предоставил. Лицензия модели — MIT.

MAdel121/whisper-small-egyptian-arabic — модель распознавания речи, созданная дообучением openai/whisper-small автором репозитория на наборе MAdel121/arabic-egy-cleaned с использованием SpeechBrain. Она предназначена для транскрибации речи на египетском диалекте арабского языка и доступна для запуска через pipeline автоматического распознавания речи в Transformers. Модель имеет плотную архитектуру Whisper и содержит 153,1 млн параметров; репозиторий хранит веса в формате safetensors. Для тестовой части обучающего набора указаны WER 22,69% и CER 16,70%. Лицензия — MIT. Модель рассчитана прежде всего на египетскую арабскую речь. Точность может снижаться на других арабских диалектах, шумных записях, а также на специализированной тематике, недостаточно представленной в обучающих данных.

Это версия OpenAI Whisper Small, дообученная для распознавания швейцарского немецкого диалекта. Модель предназначена для преобразования аудио в текст; в качестве обучающих данных использован набор SwissDial-ZH. В карточке Hugging Face указаны библиотека Transformers, формат PyTorch и лицензия Apache-2.0. Карточка не приводит результатов оценки и подробных сведений о качестве распознавания или ограничениях. Поэтому пригодность для конкретных акцентов, условий записи и типов аудио следует проверять на собственных данных.

Модель gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-2_8k — дообученная Gary109 версия wav2vec2-base для автоматического распознавания речи. Она содержит 113,3 млн параметров и использует архитектуру Wav2Vec2ForCTC; веса опубликованы в формате PyTorch. Модель дообучена на наборе GARY109/AI_LIGHT_DANCE - ONSET-IDMT-2, связанном с проектом AI Light Dance. Основной сценарий — преобразование аудио в текст. В README приведены результаты оценки на тестовой выборке: WER 0,3178 и loss 0,5029. Поддерживаемый язык и ограничения применения в доступной карточке не описаны. Условия лицензии в предоставленных данных не указаны.

Confucius4-R2T2 — модель распознавания речи в реальном времени от NetEase Youdao, дообученная на базе Qwen/Qwen3-ASR-1.7B. Она предназначена для потоковой и офлайн-транскрибации: выдаёт текст по мере поступления аудио и фиксирует уже выведенные фрагменты, не пересматривая их. Размер модели — 1,7 млрд параметров; архитектура — плотная Qwen3-ASR. Модель поддерживает настраиваемые интервалы декодирования от 80 мс до 2 с; в README заявлена средняя задержка 200–600 мс. Модель рассчитана прежде всего на китайскую и английскую речь, а также поддерживает ряд других языков, включая русский. Она подходит для субтитров и расшифровки в реальном времени, а также для передачи распознанного текста в NLP-системы и голосовых агентов. Доступны бэкенды vLLM и Hugging Face Transformers, а также подсказки с контекстом и ключевыми словами. README сообщает о высокой точности, но приведённые таблицы результатов опущены, поэтому независимо оценить эти заявления по карточке нельзя. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.