I.9Аудио и музыка

Модель YonaKhine/finetuned-w2v2-bert-burmese-asr — дообученная на датасете OpenSLR-80 для распознавания речи на бирманском языке. Она принимает аудио и выдаёт текстовую транскрипцию; модель построена на архитектуре Wav2Vec2BertForCTC и содержит 402,7 млн параметров. Базовая модель — facebook/w2v-bert-2.0, используется библиотека Transformers. В карточке приведены значения на тестовом наборе: loss 0,3886 и WER 0,4256. Пример транскрипции показывает, что возможны ошибки в словах и различиях гласных. Модель распространяется по лицензии MIT.

ZeeshanGeoPk разработал дообученную модель распознавания речи на архитектуре Whisper с 153,1 млн параметров. Она преобразует аудио на гаитянском креольском языке в текст и предназначена для автоматической транскрибации речи. В карточке указана оценка Word Error Rate 0,19126; модель доступна в формате Safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Данные о длине контекста и дополнительных языках в предоставленных источниках отсутствуют.

Akashpb13/Hausa_xlsr — это модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m для хауса. Она использует архитектуру wav2vec2 и весит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в метаданных указана поддержка языка хауса. Модель предназначена для транскрибации записей на хауса, включая голосовые сообщения и материалы, похожие на записи Common Voice. В README приведены результаты оценки: WER 0,329955 и loss 0,275118; оценочный набор сформирован из частей данных Common Voice 7.0, а метаданные также связывают модель с Common Voice 8.0. Лицензия — Apache-2.0. В README отмечено, что сведений о предполагаемом использовании и ограничениях требуется больше.

Tejveer12 разработал эту модель как дообученную версию openai/whisper-large-v3-turbo для распознавания английской речи с индийским акцентом. Это модель WhisperForConditionalGeneration на 905,2 млн параметров, предназначенная для преобразования аудио в текст; основное применение — транскрибация записей и речи на английском языке с индийским акцентом. Модель работает с аудио на входе и выдаёт текст. В README приведены результаты оценки: loss 0,2065 и WER 7,5056; описание методики оценки и единиц измерения WER не приведено. Модель распространяется по лицензии MIT.

MERaLiON-2-10B-ASR — мультимодальная модель распознавания речи, разработанная Институтом исследований и информатики A*STAR (I2R) в Сингапуре. Это ASR-оптимизированная версия MERaLiON-2: архитектура объединяет речевой энкодер на основе Whisper Large v3 и текстовый декодер Gemma 2; число параметров — 8,1 млрд. Модель дообучена и объединена с базовыми моделями для распознавания речи на английском, китайском, малайском, тамильском, индонезийском, тайском и вьетнамском языках. Модель предназначена прежде всего для транскрибации аудио, в том числе речи с сингапурскими акцентами, местными разговорными выражениями и переключением языков. Она принимает монофоническое аудио с частотой 16 кГц; README указывает длительность до 300 секунд для аудиозапросов, но для удовлетворительного качества транскрибации рекомендует ограничивать аудио 30 секундами. Разработчики сообщают об улучшении распознавания на 5–30% относительно Whisper Large v3, однако результат зависит от языка и условий записи. Модель использует Transformers и распространяется по лицензии MERaLiON Public License. README исключает применение для вызова инструментов, математики и программирования; подтверждённые задачи модели относятся к распознаванию речи.

Moonshine Tiny UK — модель распознавания речи компании Moonshine AI, ранее известной как Useful Sensors. Это компактная seq2seq-модель с архитектурой Moonshine, предназначенная для транскрибации украинской речи в текст на устройствах с ограниченными вычислительными ресурсами и памятью. По README, модель содержит 27 млн параметров; в метаданных указан контекст 194 токена. Она принимает аудио и выдаёт текст, а библиотека для работы — Transformers. Модель рассчитана на разработчиков систем распознавания речи, в том числе для транскрибации в реальном времени и сценариев с недорогим оборудованием. В README приведены результаты оценки на Fleurs и Common Voice 17, но они не гарантируют точность в конкретных условиях. Возможны галлюцинации и повторы, особенно на коротких фрагментах и аудио с обрезанными словами. Лицензия обозначена как other; дополнительные условия в предоставленных данных не описаны.

Nemotron-3.5 ASR Streaming 0.6B MLX INT8 — конвертированная в нативный формат MLX версия потоковой модели распознавания речи NVIDIA на основе cache-aware FastConformer и prompt-conditioned RNN-T. Модель содержит 0,6 млрд параметров; линейные веса квантованы до 8 бит, рекуррентное состояние хранится в BF16, а свёрточные слои, эмбеддинги, LSTM и слои языковых подсказок не квантованы. Репозиторий использует safetensors и библиотеку MLX, рассчитан на потоковый запуск на Apple silicon; аудио подаётся в формате моно, 16 кГц. Модель предназначена для многоязычного преобразования речи в текст с низкой задержкой, включая обработку аудиопотока частями. По карточке поддерживаются десятки языков, в том числе русский, английский, испанский, немецкий, французский, китайский и японский. Приведённые тесты на FLEURS показывают результаты для шести языковых срезов, а не для всего заявленного списка языков. Ограничения: модель выполняет только ASR, не поддерживает диаризацию и идентификацию говорящих. Язык задаётся явно или через слот auto; промежуточный текст может быть неполным и требует замены при получении следующих фрагментов. Для MLX-версии не реализован дополнительный слой усиления слов из Core ML runtime. Лицензия репозитория — OpenMDW-1.1.

NeuraSpeech WhisperBase — модель автоматического распознавания речи, разработанная компанией Neura. Она основана на архитектуре Whisper Base: Transformer-энкодер-декодер преобразует аудио в текст и поддерживает сценарии распознавания речи и речевого перевода. Модель рассчитана на персидский язык. В репозитории указаны 51,7 млн параметров и формат safetensors; для использования предусмотрена библиотека Transformers. Модель распространяется по лицензии Apache-2.0. Карточка содержит демонстрацию запуска ASR в Google Colab, но не приводит количественных оценок качества.

Harveenchadha/odia_large_wav2vec2 — модель автоматического распознавания речи на базе архитектуры Wav2Vec2, разработанная автором Harveenchadha и реализованная с использованием Transformers и PyTorch. Модель предназначена для преобразования аудиозаписей на языке одия (код or) в текст. Модель содержит около 402,7 млн параметров и обучалась с использованием набора Harveenchadha/indic-voice, а также оценивалась на данных Common Voice. Она подходит для транскрибации речевых записей, голосовых сообщений и других аудиоматериалов на одия. Согласно приведённым результатам, значение WER на тестовых выборках Common Voice составляет 53,58–55,26, а CER — 11,26–13,01, поэтому качество распознавания может заметно зависеть от диктора, акустических условий и типа речи. Модель распространяется по лицензии Apache-2.0.

ihanif/pashto-asr-v6 — модель автоматического распознавания речи, разработанная как дообучение ihanif/pashto-asr-v5 на наборе Common Voice 19.0. Она использует архитектуру Wav2Vec2-BERT с CTC-декодером и содержит около 402,7 млн параметров. Модель предназначена для преобразования речи на пушту в текст; в оценке указана метрика WER 30,1268. Модель подходит для транскрибирования записей на пушту, включая голосовые сообщения и речевые материалы общего назначения. В карточке нет сведений о контекстном окне или дополнительных режимах работы. Лицензия в предоставленных данных не указана.

junnei дообучил мультимодальную модель Microsoft Phi-4-multimodal-instruct для распознавания корейской речи. Модель содержит 3,8 млрд параметров, использует архитектуру Phi4MMForCausalLM и доступна в формате safetensors. Для обучения применялись наборы Bingsu/zeroth-korean и Google FLEURS; README также описывает продолжение обучения на CoVoST2-Ko для перевода речи, но основная задача этой версии — распознавание речи. Модель предназначена для преобразования корейской речи в текст. В README приведена оценка CER на тестовом наборе zeroth-test из 457 примеров и сравнение с другими моделями; автор сообщает о заметном улучшении распознавания относительно указанных вариантов Phi-4. Ограничение контекста составляет 4096 токенов. Лицензия в предоставленных данных не указана.

Gearnode/Qwen3-ASR Uzbek (v2) — дообученная Gearnode версия Qwen/Qwen3-ASR-1.7B для распознавания узбекской речи и преобразования аудио в текст. Модель построена на плотной архитектуре Qwen3ASRForConditionalGeneration и распространяется в формате Safetensors; она принимает аудио и выдаёт текстовую транскрипцию. Модель обучали пять эпох на примерно 160 тысячах примеров из Google FLEURS, Uzbek Speech Corpus и узбекских видео с YouTube по темам IT, новости и подкасты. В README модель названа лучшей среди сравниваемых вариантов для узбекской речи; для уменьшения повторов применяется постобработка. Модель предназначена прежде всего для транскрибации узбекской речи, в том числе записей новостей, подкастов и материалов по IT. Лицензия — Apache-2.0.

Shrutam-2 — система распознавания речи от BharatGenAI для 12 основных языков Индии. Модель преобразует аудио в текст, используя речевой энкодер Conformer, проектор Mixture-of-Experts и декодер предобученной языковой модели. Проектор снижает частоту кадровых представлений и связывает их с пространством эмбеддингов декодера; восемь экспертов объединяются мягкой маршрутизацией SMEAR на уровне высказывания. Модель предназначена для многоязычной транскрибации и позволяет управлять поведением распознавания с помощью текстовых подсказок. В README заявлена поддержка 12 языков, но в доступном фрагменте перечислены только хинди, маратхи и тамильский; метаданные карточки также содержат языковые теги для бенгали, урду, ассамского, гуджарати, каннада, малаялам, одиа, пенджаби и телугу. Репозиторий содержит веса в формате safetensors. В предоставленных материалах лицензия и размер модели не указаны.

NVIDIA Streaming Conformer-Hybrid Large — англоязычная модель распознавания речи, разработанная NVIDIA и обученная с помощью инструментария NeMo. Она предназначена для потоковой транскрибации и поддерживает несколько настроек задержки: от 0 до 1040 мс. В карточке указано, что семейство использует cache-aware FastConformer-Hybrid примерно на 114 млн параметров и обучено на больших наборах английской речи. Модель сочетает декодеры Transducer и CTC и принимает монофонический звук в формате WAV с частотой 16 кГц, выдавая распознанную речь в виде текста. Её можно использовать для транскрибации в реальном времени, а также дообучать на других наборах данных с помощью NeMo. Лицензия — CC BY 4.0. Качество может снижаться на технической лексике, разговорных формах и акцентированной речи, особенно если такие варианты недостаточно представлены в обучающих данных.

Kuray107/swbd-5percent-supervised — модель распознавания речи на основе архитектуры wav2vec2, дообученная на facebook/wav2vec2-large-lv60. Она предназначена для преобразования аудиоречи в текст; в README указана оценка WER 0,1352 на наборе для оценки. Модель содержит 402,7 млн параметров и опубликована в формате PyTorch. Карточка не описывает состав обучающих данных, поддерживаемые языки и условия применения. Лицензия — Apache-2.0.

Модель Surya Teja — дообученная версия Wav2Vec2ForCTC для автоматического распознавания речи на телугу. Она преобразует аудио на телугу в текст и предназначена для транскрибации, создания субтитров, голосовых интерфейсов, образовательных и вспомогательных приложений. Модель содержит 113,3 млн параметров, распространяется в формате Safetensors и использует библиотеку Hugging Face Transformers. Для входного аудио в README указаны формат WAV и частота дискретизации 16 кГц. Модель обучена на пользовательском наборе аудиозаписей проекта Gonthuka. Для оценки использовались метрики WER и CER, однако численные результаты не приведены. Лучше всего модель подходит для речи на телугу; шумные записи и смешанная речь могут снижать точность. Лицензия — Apache-2.0.

titu_stt_bn_fastconformer — модель распознавания речи на архитектуре FastConformer, обученная на корпусе MegaBNSpeech объёмом около 18 тысяч часов. Она предназначена для преобразования аудио на бенгальском языке в текст и может служить отправной точкой для дообучения на пользовательских наборах данных с помощью NeMo. В обучающих данных преобладает новостная речь; также представлены ток-шоу и небольшое количество влогов. Модель принимает аудио и выдаёт текстовую транскрипцию. Для использования и дообучения предусмотрен фреймворк NeMo. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческих целях.

UniSpeech-SAT-Base-Finetuned-100h-Libri — акустическая модель распознавания речи от Microsoft, дообученная на 100 часах английской части LibriSpeech. Она основана на архитектуре UniSpeech-SAT и использует CTC для преобразования аудиоречи в текст; размер модели — 113,3 млн параметров. Модель принимает речь с частотой дискретизации 16 кГц и рассчитана на транскрибирование английской речи, в том числе аудиокниг и записей с похожими условиями. Модель можно использовать как акустическую часть конвейера автоматического распознавания речи. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Карточка не приводит оценок качества распознавания или подробных ограничений для аудио, отличающегося от LibriSpeech, поэтому пригодность для таких записей следует проверять отдельно.

Harveenchadha/vakyansh-wav2vec2-punjabi-pam-10 — модель распознавания речи на базе архитектуры wav2vec2, дообученная на многоязычной предварительно обученной модели CLSRIL-23. Она преобразует аудиоречь на панджаби в текст и может применяться для транскрибации записей и построения систем распознавания речи. Модель содержит 113,3 млн параметров и представлена в формате PyTorch; входное аудио должно иметь частоту дискретизации 16 кГц. Распознавание выполняется без языковой модели, поэтому в некоторых случаях возможен повышенный показатель ошибок слов. Модель выпущена под лицензией MIT.

Voxtral-Mini-3B-2507-gguf — это квантизированная GGUF-версия мультимодальной аудиотекстовой модели Voxtral Mini 1.0 (3B), разработанной Mistral и подготовленной для transcribe.cpp сообществом handy-computer. Модель предназначена для автономного распознавания речи, перевода речи и анализа аудио без подключения к облачным сервисам. Она поддерживает английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди, а также автоматическое определение языка, ответы на вопросы по аудио и создание структурированных резюме. Архитектура сочетает двунаправленный аудиоэнкодер Whisper-large-v3, проектор с группировкой по четыре аудиокадра и причинную языковую модель Ministral-3B с 30 слоями, GQA 32/8, NEOX RoPE и SwiGLU. Контекст составляет 32 тысячи токенов: модель рассчитана на обработку аудиозаписей длительностью до 30 минут при транскрибации и до 40 минут при понимании аудио. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 2,98 до 9,38 ГБ. На LibriSpeech test-clean заявлена точность WER от 1,87% до 1,94% в зависимости от варианта. К сильным сторонам относятся офлайн-работа, мультиязычность, поддержка перевода и единая модель для распознавания и понимания аудио. Ограничения реализации transcribe.cpp: потоковая обработка и временные метки не поддерживаются, вход должен быть монофоническим WAV с частотой 16 кГц, а декодирование выполняется жадным методом. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Модель khanhld/wav2vec2-base-vietnamese-160h — дообученная авторами на примерно 160 часах вьетнамской речи версия Wav2Vec2 для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC, содержит 113,3 млн параметров и принимает аудио, выдавая распознанный текст на вьетнамском языке. Обучающие данные собраны из VIVOS, Common Voice, FOSD и VLSP 100h. Модель предназначена для преобразования вьетнамской речи в текст. В README приведены результаты WER 15,05 на VIVOS и 10,78 на Common Voice 8.0 без языковой модели; интеграция языковой модели в описанной ASR-системе ещё не выполнена. Распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

Модель infinitejoy/wav2vec2-large-xls-r-300m-greek — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания греческой речи. Она основана на архитектуре Wav2Vec2ForCTC и обучена на греческой части Mozilla Common Voice 7.0. Модель принимает аудио и выдаёт распознанный текст; число параметров — около 402,7 млн. По результатам оценки на тестовой выборке указаны loss 0,6592 и WER 0,4564. Модель подходит для транскрибирования грекоязычных записей, однако приведённый WER указывает на заметное число ошибок распознавания. Распространяется по лицензии Apache-2.0.

Модель peter2000/wav2vec2-large-xls-r-300m-kinyarwanda — дообученная на Common Voice версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на киньяруанда. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. Число параметров — около 402,8 млн; модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для транскрибации записей и аудиопотоков на киньяруанда. В указанной оценке на тестовой выборке Common Voice значение WER составляет 0,3246. Карточка не описывает ограничения применения и не приводит дополнительные сведения о поддержке других языков.

Wav2Vec2-Large-XLSR-53-Mongolian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на монгольском языке с использованием Common Voice. Она преобразует аудиозаписи речи в текст и подходит для транскрибации монгольской речи; входное аудио следует подавать с частотой дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров. В README приведён результат оценки 42,80% на тестовых данных Common Voice, но метрика не уточнена. Веса доступны в формате PyTorch; лицензия — Apache-2.0.

anton-l разработал эту модель, дообучив facebook/wav2vec2-large-xlsr-53 для распознавания татарской речи на данных Common Voice. Это акустическая модель Wav2Vec2 Large с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; модель можно использовать без отдельной языковой модели. Для тестовой части Common Voice указано значение метрики 26,76 %, но название метрики в карточке не приведено. Веса доступны в форматах PyTorch и Flax, лицензия — Apache 2.0.

Wav2Vec2-Large-XLSR-53-Kannada — модель распознавания речи на каннада, созданная дообучением facebook/wav2vec2-large-xlsr-53 на наборе OpenSLR SLR79. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2ForCTC и содержит около 402,8 млн параметров. Модель предназначена для автоматической транскрибации речи на каннада, в том числе записей из набора OpenSLR. В README приведён результат оценки 27,08% на тестовой части данных, но метрика не уточнена, поэтому это число нельзя напрямую трактовать как точность. Модель распространяется по лицензии Apache-2.0.

UrukHan/wav2vec2-ru — акустическая модель распознавания речи на базе архитектуры wav2vec2 с декодирующей головой CTC. Она содержит 402,7 млн параметров и предназначена для преобразования аудиоречи в текст. В README указано, что модель обучалась с нуля; набор данных не назван. Для оценки приведены loss 0,5468 и WER 0,4124. Модель подходит для автоматической расшифровки аудиозаписей. Суффикс «ru» указывает на ориентацию на русский язык, однако README и метаданные не подтверждают поддерживаемые языки. Репозиторий содержит веса PyTorch; лицензия и сведения о контексте применения не приведены.

krishnateja/wav2vec2-telugu — модель распознавания речи на базе архитектуры wav2vec2, дообученная разработчиком на facebook/wav2vec2-large-xlsr-53 с использованием датасета OpenSLR. Модель преобразует входящую речь на телугу в текст; в метаданных указано 402,7 млн параметров и формат PyTorch. В README приведены результаты оценки: loss 0,2982 и WER 0,2885. Модель подходит для транскрибирования записей и построения систем распознавания речи на телугу. Репозиторий распространяется по лицензии Apache-2.0. Описание не уточняет условия записи аудио и область применимости результатов оценки, поэтому качество на других данных по указанным метрикам определить нельзя.

AndrewMcDowell/wav2vec2-xls-r-300m-arabic — дообученная модель распознавания арабской речи, созданная на основе facebook/wav2vec2-xls-r-300m и обученная на арабской части набора Mozilla Common Voice 7.0. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст на арабском языке. В оценке на тестовом наборе указаны значение потерь 0,4502 и WER 0,4783. Модель подходит для преобразования арабской речи в текст. Опубликована в формате PyTorch под лицензией Apache-2.0.

addy88/wav2vec-odia-stt — модель распознавания речи на базе архитектуры Wav2Vec2 с CTC-головой, содержащая 113,3 млн параметров. Она предназначена для преобразования аудиозаписей на языке одия в текст и может использоваться напрямую, без отдельной языковой модели. Модель подходит для автоматической транскрибации речи на одия, например записей и аудиосообщений. В карточке указана библиотека PyTorch и формат весов PyTorch. Лицензия и сведения о контекстном окне в предоставленных данных отсутствуют.