I.9Аудио и музыка

Griot Nano 1 — модель автоматического распознавания речи, разработанная Qlerqly. Это мультиязычная Conformer CTC-модель на 153 млн параметров для транскрибации речи на акан, дагбани, эве, ганском английском и га. Модель принимает аудио; для локального распознавания аудио при необходимости преобразуется в моно и передискретизируется до 16 кГц. В опубликованной оценке использовалось жадное CTC-декодирование без KenLM. Для повышения контекстной точности автор рекомендует отдельную n-граммную языковую модель Qlerqly/griot-nano-1-kenlm; декодирование с ней помогает при неоднозначных границах слов и акустически похожих последовательностях. В тестах акан показал больше ошибок, чем дагбани и эве; приводятся также ошибки в границах слов. Данные обучения включают автоматически созданные или исправленные транскрипции, а качество за пределами оценённых ганских речевых доменов может отличаться. Модель распространяется по лицензии CC BY-NC-SA 4.0, предусматривающей некоммерческое использование и сохранение тех же условий при распространении производных материалов.

NbAiLab подготовила эту бета-модель распознавания норвежской речи на основе Qwen3-ASR-0.6B. Чекпойнт взят из обучения `lunde03-verbatim` и предназначен для оценки и тестирования интеграций с пакетом `qwen-asr`, в том числе для локальной транскрибации, пакетной обработки аудио и проверки серверного развертывания. Модель принимает аудио и выдаёт распознанный текст. Карточка описывает её как промежуточный бета-чекпойнт: точность распознавания, форматирование и характеристики работы могут меняться, а результаты пока предварительные. Лицензия указана как `other`; условия использования следует сверить с правообладателем перед развертыванием.

Nemotron-3.5 Hinglish Fine-Tuned — модель распознавания речи, дообученная автором репозитория на наборе Noisy Hinglish ASR для распознавания хинди и речи с переключением между хинди и английским. Она основана на nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b и использует архитектуру FastConformer RNNT с prompt-streaming; размер базовой модели — 638 млн параметров. Репозиторий включает экспортированные модели ONNX для развёртывания, а базовая архитектура поддерживает потоковую обработку аудио. Модель предназначена для транскрибации разговорной Hinglish-речи и шумной речи на хинди. В приведённых автором тестах WER для разговорной Hinglish составил 24,57% против 42,17% у базовой модели, а для шумного хинди — 31,67%; на чистом хинди отмечено небольшое ухудшение WER. Модель распространяется по лицензии Apache-2.0.

Модель texdata/nemotron-3.5-asr-streaming-slovenian разработана MediaAtlas на основе NVIDIA Nemotron-3.5 ASR Streaming 0.6B. Это потоковая модель распознавания речи на архитектуре FastConformer-CacheAware RNNT; базовая модель насчитывает 638 млн параметров. Она предназначена для низколатентной транскрибации словенской речи, включая чтение и спонтанную разговорную речь. Модель можно запускать на GPU через NeMo или на CPU через parakeet.cpp, используя поставляемые контрольную точку NeMo и файл GGUF с квантизацией q8_0. В README приведены результаты на отложенных тестовых наборах: WER 25,07% для Common Voice, 23,42% для многодоменного ARTUR и 21,66% для парламентской спонтанной речи ARTUR. Авторы отмечают компромисс: модель рассчитана на потоковую работу и спонтанную речь, тогда как сравниваемая непотоковая модель точнее на чистой прочитанной речи. Лицензия — CC BY-SA 4.0.

Obum — модель распознавания речи, разработанная Mansa Labs на основе Whisper-medium от OpenAI и дообученная с помощью LoRA для нигерийского пиджина. Она преобразует аудио в текст и предназначена для расшифровки речи на нигерийском пиджине; модель содержит около 769 млн параметров в базовой версии Whisper-medium. На тестовом наборе asr-nigerian-pidgin модель показала нормализованный WER 19,76% при жадном декодировании. Обучение проводилось на 2 708 высказываниях с аугментацией скорости речи. Модель уступает опубликованному результату SBPN-Large на том же тесте, но превзошла приведённые в карточке результаты MMS-1B и базовой линии Wav2Vec2-XLSR-53. Модель лучше подходит для чтения вслух и чистой речи. Качество может снижаться на спонтанной, зашумлённой или смешанной с другими языками речи; орфографическая вариативность нигерийского пиджина влияет на WER. Лицензия — CC BY 4.0.

PhoWhisper-base — модель автоматического распознавания речи на вьетнамском языке, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это версия семейства PhoWhisper, полученная дообучением многоязычной Whisper на 844 часах вьетнамской речи с разными акцентами. Вариант base содержит 51,7 млн параметров и использует архитектуру WhisperForConditionalGeneration; репозиторий предоставляет веса PyTorch. Модель предназначена для преобразования вьетнамской речи в текст, в том числе для аудиозаписей с различными акцентами. Авторы сообщают о высоких результатах на тестах распознавания вьетнамской речи. Модель распространяется по лицензии BSD-3-Clause; при публикации результатов или включении модели в программное обеспечение авторы просят цитировать статью PhoWhisper.

PhoWhisper-small — модель автоматического распознавания речи для вьетнамского языка, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это версия семейства PhoWhisper, полученная дообучением мультиязычной Whisper на 844-часовом наборе вьетнамской речи с разными акцентами. Архитектура — WhisperForConditionalGeneration; модель содержит 153,1 млн параметров и принимает аудио, выдавая текстовую расшифровку. Модель предназначена для транскрибации вьетнамской речи, в том числе записей с различными акцентами. Авторы сообщают о передовых результатах на тестовых наборах для вьетнамского распознавания речи. Репозиторий содержит веса PyTorch и распространяется по лицензии BSD 3-Clause; для публикаций с использованием модели авторы просят цитировать статью PhoWhisper.

Polyglot-Lion-1.7B — модель автоматического распознавания речи, разработанная Quy-Anh Dang и Chris Ngo из Knovel Engineering. Она создана дообучением Qwen/Qwen3-ASR-1.7B на общедоступных речевых корпусах для четырёх официальных языков Сингапура: английского, мандаринского китайского, тамильского и малайского. Модель имеет плотную архитектуру Qwen3-ASR и 1,7 млрд параметров. Модель предназначена для транскрибации аудио и распознавания речи на этих языках, в том числе в сингапурском контексте. При обучении использовалась сбалансированная выборка по языкам; модель учится определять язык непосредственно по аудио без языковой метки на входе. В отчёте авторов указана средняя ошибка 14,85 на оценочных наборах и скорость около 0,10 секунды на образец на RTX PRO 4500. Модель принимает аудио и выдаёт распознанный текст. Опубликованные результаты зависят от языка и набора данных и не гарантируют одинакового качества на других акцентах, шумах или предметных областях. Репозиторий распространяется под лицензией MIT.

Renesas публикует сборку Qwen3-ASR-1.7B для распознавания речи на платформе Renesas X5H. Модель поддерживает определение языка и транскрибацию речи на 30 языках, а также 22 китайских диалектах. В архитектуре указаны аудиоэнкодер с 24 слоями и скрытым размером 1024 и текстовый декодер с 28 слоями и скрытым размером 2048; исходная модель — Qwen/Qwen3-ASR-1.7B. Репозиторий предназначен для инференса на плате Renesas X5H с SDK версии 4.34.0. README приводит замеры для 15-секундного англоязычного аудио: для W4A16 и FP16 на одном кластере NPX указана скорость предварительной обработки и декодирования. Для запуска требуются соответствующие файлы модели и проектора, а также установщик для X5H. Модель принимает аудио и выдаёт распознанный текст; базовая модель поддерживает потоковую обработку, согласно краткому описанию в метаданных. Репозиторий распространяется по лицензии Apache-2.0. Приведённые показатели производительности относятся к указанной платформе и конфигурациям, поэтому не характеризуют скорость на другом оборудовании.

Модель сегментации речи, разработанная evie-8 и дообученная на английской части набора Callhome с помощью diarizers на базе pyannote/segmentation-3.0. Она анализирует аудио и размечает активность и сочетания говорящих во времени, в том числе перекрывающуюся речь; модель можно подключить к конвейеру диаризации pyannote. В README приведены результаты оценки: Loss 0,4587 и DER 0,1824, а также показатели ложных срабатываний, пропусков и ошибок определения говорящего. Модель предназначена для сегментации аудио при диаризации английских разговоров. Репозиторий содержит веса safetensors, лицензия — MIT. Показатели оценки относятся к указанному набору и не гарантируют аналогичного качества на других типах аудио.

Vekol-STT Sorani — компактная модель распознавания речи от RevgeAI, дообученная на базе openai/whisper-tiny. Она преобразует аудио на центральнокурдском языке (сорани) в текст арабским письмом и рассчитана на автономную работу на CPU, в том числе на ноутбуках. Для запуска доступны ONNX Runtime и Transformers/PyTorch; модель содержит 29,4 млн параметров по метаданным и распространяется в форматах ONNX и safetensors. Модель обучена на Common Voice 25.0 для ckb и FLEURS для ckb_iq с нормализацией сорани. На тестовой выборке Common Voice 25 с разделением по говорящим указаны 35,0% WER и 9,85% CER без учёта пробелов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое использование בלבד.

Vyom TTS HI — модель синтеза речи на хинди, разработанная OpenXfi by ATX Labs. Это дообученная на базе speech-LLM Orpheus 3B модель с адаптером LoRA r=64, alpha=128 и rsLoRA, обученная в 16-битной точности. Она принимает текст на хинди и генерирует выразительную речь женским голосом в формате WAV с частотой 24 кГц с помощью нейронного вокодера SNAC. Модель предназначена для озвучивания регионального контента, аудиокниг и медиа, голосовых помощников, разговорных AI-агентов и средств чтения для людей, которым удобнее слушать текст. В оценке на 210 подсказках отдельно проверялись сложные фразы, обычная разговорная речь и числа. Для чисел авторы рекомендуют записывать их словами: синтез цифровых записей показал ограничения; английские заимствования и редкие акронимы также могут звучать с фонетическими артефактами. Модель ориентирована на хинди и не предназначена для клонирования голоса или имитации людей без разрешения. Репозиторий распространяется под лицензией MIT.

CLEAR-Global выпустила модель автоматического распознавания речи на игбо, дообученную на основе facebook/w2v-bert-2.0. Это модель архитектуры Wav2Vec2-BERT с 402,7 млн параметров, принимающая аудио и преобразующая речь в текст. В карточке приведены результаты на оценочном наборе: WER 0,2455 и CER 0,1105. Модель предназначена для распознавания речи на игбо, в том числе для транскрибирования записей и голосовых сообщений. Базовая модель — многоязычный речевой энкодер Conformer; репозиторий содержит веса Safetensors, а для использования заявлена библиотека Transformers. Модель распространяется по лицензии MIT.

nguyenvulebinh/wav2vec2-large-vi-vlsp2020 — модель распознавания вьетнамской речи на основе архитектуры wav2vec2, разработанная Nguyen Vu Lebinh. Модель с 402,8 млн параметров предварительно обучена на 13 тысячах часов неразмеченной вьетнамской речи с YouTube и дообучена на 250 часах размеченных данных набора VLSP ASR 2020 с частотой дискретизации 16 кГц. Модель преобразует аудиозаписи на вьетнамском языке в текст и предназначена для автоматического распознавания речи. На тестовом наборе VLSP T1 для большой версии указана частота ошибок слов WER 6,90 без языковой модели и 5,32 с языковой моделью 5-грамм. В репозитории представлены веса PyTorch; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.

infinitejoy/wav2vec2-large-xls-r-300m-armenian — модель распознавания речи на базе архитектуры wav2vec 2.0, дообученная на facebook/wav2vec2-xls-r-300m для армянского раздела HY-AM набора Mozilla Common Voice 7.0. Она принимает аудио и преобразует речь в текст; предназначена для автоматической транскрипции армянской речи. В метаданных указано 402,7 млн параметров, реализация на PyTorch и лицензия Apache-2.0. На оценочной выборке карточка сообщает Loss 0,9669 и WER 0,6942, что указывает на заметные ошибки распознавания; качество может зависеть от условий записи, диктора и словаря. Карточка не описывает дополнительные сценарии или ограничения.

Модель infinitejoy/wav2vec2-large-xls-r-300m-bulgarian — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания болгарской речи. Она использует архитектуру wav2vec2 с CTC-выходом и обучена на болгарской части набора Mozilla Common Voice 7.0. Модель принимает аудио и преобразует речь в текст; в оценке на тестовой выборке указаны loss 0,4487 и WER 0,4674. Модель подходит для транскрибации болгарской речи, например записей и голосовых сообщений. Опубликована по лицензии Apache-2.0. Указанный WER свидетельствует о заметных ошибках распознавания, поэтому качество следует проверять на аудио, похожем на целевое; подробные ограничения и рекомендации в карточке не приведены.

Модель infinitejoy/wav2vec2-large-xls-r-300m-sakha — дообученная Infinitejoy версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на саха (якутском) языке. Она принимает аудио и преобразует речь в текст; архитектура основана на Wav2Vec2ForCTC и имеет около 402,7 млн параметров. Обучение проводилось на наборе Mozilla Common Voice 7.0 для саха. На тестовой выборке указана WER 0,4421. Модель подходит для транскрибации записей на саха, включая голосовые сообщения и аудио из корпуса Common Voice. Доступна в формате PyTorch и распространяется по лицензии Apache-2.0. README не описывает ограничения по записи или условиям эксплуатации.

elgeish/wav2vec2-large-xlsr-53-levantine-arabic — модель автоматического распознавания речи на основе Wav2Vec2-Large-XLSR-53, дообученная на наборе Arabic Speech Corpus. Разработчик адаптировал её для распознавания арабской речи; карточка указывает арабский язык и задачу automatic speech recognition. Модель принимает аудио и выдаёт распознанный текст. Для входной речи требуется частота дискретизации 16 кГц. В репозитории представлены варианты PyTorch и Flax; модель содержит около 402,7 млн параметров. Лицензия — Apache-2.0.

wav2vec2-large-xlsr-moroccan-darija-v3 — модель распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная Hassan Ait Nacer на базе hassanaitnacer/wav2vec2-large-xlsr-moroccan-darija-v2. Модель содержит 402,7 млн параметров и принимает аудио, преобразуя речь в текст. Она предназначена для автоматического распознавания марокканской дариджи; в карточке указана оценка WER 0,1312 на тестовой выборке, но описание набора данных и методики оценки отсутствует. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка содержит мало сведений о сценариях применения и ограничениях, поэтому качество на других данных и вариантах речи по указанной оценке определить нельзя.

Модель anuragshas/wav2vec2-xls-r-300m-hi-cv9-with-lm — дообученная Anurag Shas на базе facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на хинди. Она использует архитектуру Wav2Vec2ForCTC и обучена на наборе MOZILLA-FOUNDATION/COMMON_VOICE_9_0 - HI. В метаданных указано 402,7 млн параметров; модель принимает аудио и выдаёт распознанный текст. На оценочной выборке указаны WER 0,3349 и CER 0,1082. Модель ориентирована на распознавание речи на хинди; результаты на других языках и в иных акустических условиях не подтверждены. Распространяется по лицензии Apache-2.0.

sammy786/wav2vec2-xlsr-mongolian — модель распознавания речи на архитектуре Wav2Vec2ForCTC, дообученная на основе facebook/wav2vec2-xls-r-1b для монгольского языка. Она преобразует аудиозаписи речи в текст и предназначена для автоматической транскрипции, в том числе записей, похожих на данные Mozilla Common Voice 8.0. В README приведён результат оценки на наборе, описанном как объединение части обучающих данных с dev и другими данными: WER 34,1522 и loss 31,52. README также содержит несогласованность: набор данных и конфигурация обозначены как монгольские, но в описании обучающих данных упомянуты файлы Finnish. Лицензия модели — Apache-2.0.

arun100/whisper-base-bn-6 — модель автоматического распознавания речи на основе Whisper Base, дообученная разработчиком на бенгальской части набора Mozilla Common Voice 16.0. Она преобразует входящую речь в текст и предназначена для транскрибирования бенгальской речи. Модель содержит 51,7 млн параметров и опубликована в формате Safetensors под лицензией Apache-2.0. На оценочной выборке указаны Loss 0,2078 и WER 28,8185. Эти результаты относятся к конкретной выборке и сами по себе не гарантируют такое же качество на других записях; подробности об условиях записи и ограничениях в карточке не приведены.

AbelZimba/whisper-bemba-stt — модель распознавания речи на основе архитектуры Whisper, размещённая пользователем AbelZimba на Hugging Face. Она предназначена для преобразования аудиозаписей на бемба в текст. Метаданные указывают на архитектуру WhisperForConditionalGeneration, 153,1 млн параметров и поддержку аудиовхода; задача модели — автоматическое распознавание речи. Карточка, доступная через веб-поиск, не раскрывает сведения об обучении, лицензии, контекстном окне или оценке качества.

Whisper Hindi Small — модель распознавания речи, созданная дообучением openai/whisper-small на публичных корпусах аудиозаписей на хинди в рамках спринта по дообучению Whisper. Она предназначена для преобразования речи на хинди в текст и оценки качества распознавания на наборах данных ASR. Модель основана на архитектуре WhisperForConditionalGeneration и содержит около 153,1 млн параметров; доступны веса PyTorch и Flax. Для использования указаны инструменты whisper_jax и код оценки из репозитория whisper-finetune. Лицензия — Apache-2.0. Обучение проводилось на GramVaani ASR Corpus, ULCA ASR Corpus, Shrutilipi ASR Corpus и обучающей и валидационной частях Google Fleurs; для оценки использовались тестовые части GramVaani и Google Fleurs. Карточка не приводит результатов метрик, поэтому качество на других типах записей или вне хинди по ней оценить нельзя.

Это дообученная модель OpenAI Whisper large-v3-turbo, созданная oddadmix для распознавания арабской речи на разных диалектах. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 809 млн параметров; принимает аудио и выдаёт текст. Обучение проводилось на наборе примерно из 36,8 тыс. очищенных и расширенных аудиоклипов, охватывающем левантийские, магрибские, египетский, заливные, суданский и иракский диалекты, а также литературный арабский. В тесте из 932 клипов модель показала WER 0,344 и CER 0,115 при заданной в карточке нормализации текста. Вывод без диакритических знаков; диалектное написание сохраняется. Модель работает офлайн на фрагментах длительностью до 30 секунд и не поддерживает потоковое распознавание. Качество на реальной речи зависит от диалекта: магрибские варианты распознаются сложнее. Разработчик рекомендует оценить модель на собственных данных перед производственным применением. Лицензия — Apache-2.0.

robello2/whisper-medium-full-clinical-r16 — дообученная модель OpenAI Whisper Medium для автоматического распознавания речи. Она принимает аудио и преобразует речь в текст; дообучение выполнено на наборе данных afrispeech-200. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров согласно описанию базовой модели. В карточке приведены результаты оценки: Loss 0,7557, WER 22,4040 и CER 8,9223. Эти показатели относятся к указанному набору оценки и сами по себе не гарантируют качество на других данных. Модель распространяется по лицензии Apache-2.0.

CKSINGH/whisper-small-hi-iiib — дообученная модель семейства Whisper на основе openai/whisper-medium, предназначенная для автоматического распознавания речи и преобразования аудио в текст. В метаданных указано 153,1 млн параметров; модель использует архитектуру WhisperForConditionalGeneration и распространяется в форматах PyTorch и safetensors. Карточка сообщает результаты оценки: loss 0,1203, WER 10,8852 и CER 3,4179. Язык карточки и тег модели указывают на хинди. Лицензия — Apache-2.0. README не уточняет набор данных и сценарии применения, поэтому качество на других наборах записей и устойчивость к различным условиям записи по имеющимся данным оценить нельзя.

Модель zindagi-technologies/whisper-small-hindi разработана Zindagi Technologies Pvt Ltd на основе Whisper Small от OpenAI. Это полноразмерное дообучение архитектуры Whisper encoder–decoder с 244 млн параметров для распознавания и транскрибирования речи на хинди. Модель принимает аудио и выдаёт текст; обучение проводилось на 134,75 часа корпуса AI4Bharat Kathbath, включающего преимущественно короткую начитанную речь. Лицензия модели — Apache-2.0. На тестовых наборах Kathbath и FLEURS указана частота ошибок слов 14,87% и 19,54% соответственно. Модель рассчитана на фрагменты длительностью до 30 секунд; более длинные записи следует разбивать на части. Она не обучалась переводу, временным меткам или длинным аудиозаписям. Разговорная, шумная и телефонная речь, переключение между хинди и английским, а также точная запись чисел могут приводить к большему числу ошибок; для важных расшифровок нужна проверка человеком.

Yohan2003/whisper-small-sinhala — набор дообученных вариантов Whisper Small для автоматического распознавания речи на сингальском языке. Репозиторий содержит девять обучающих запусков с весами и разбиениями данных; автор рекомендует run6 для максимальной точности распознавания сингальской речи. Модель основана на мультиязычной openai/whisper-small и принимает аудио, выдавая транскрипцию текстом. Обучение проводилось на примерно 154 828 примерах сингальской речи из OpenSLR-52, YouTube, BizBrains и Linga. Для рекомендованного run6 приведена оценка на тестовом наборе без пересечения дикторов с обучением; точность зависит от орфографических вариантов, редких слов и длинных высказываний. LoRA-варианты могут повторять слова в длинных выводах. Лицензия репозитория — Apache-2.0. Английское забывание для поздних запусков run5–run9 не оценивалось.

Whisper-tiny-fa — модель распознавания персидской речи, созданная дообучением openai/whisper-tiny авторами aictsharif на персидской части Common Voice 17.0. Она преобразует аудио в текст и предназначена для транскрибации записей и речи с микрофона, создания персидских субтитров и голосового управления приложениями. Модель построена на архитектуре encoder-decoder Transformer Whisper и содержит 29,4 млн параметров; для работы используется библиотека Transformers. Модель рассчитана на персидский язык. В тестировании, описанном в карточке, указаны WER 0,915 и CER 0,428. Качество может снижаться на шумных записях, при акцентах и диалектах, слабо представленных в обучающих данных; модель может хуже распознавать другие языки и не подходит для сценариев со строгими требованиями к задержке. Лицензия — Apache-2.0.