I.9Аудио и музыка

AntonyG/fine-tune-wav2vec2-large-xls-r-1b-sw — модель распознавания речи на суахили, разработанная на основе wav2vec2. Согласно карточке, она дообучена на датасете Common Voice 11.0 для транскрибации речи на суахили. Архитектура — Wav2Vec2ForCTC; в метаданных указано 402,7 млн параметров и формат PyTorch. Модель предназначена для распознавания общей разговорной речи на суахили. На оценочной выборке Common Voice 11.0 указаны loss 1,2834 и WER 0,5834. Разработчики рассматривают дальнейшее дообучение для предметных сценариев, в частности разговоров в больницах; текущая карточка не подтверждает специализацию на медицинской речи. Лицензия — Apache-2.0.

zeromodels/granite_speech_4_1_2b_plus — конверсия IBM Granite Speech 4.1 2B Plus в Keras 3, подготовленная zeromodels. Это речевая языковая модель на базе Granite 4.0 2B: аудиообработчик с энкодером Conformer CTC и проектором Q-Former передаёт аудиоэмбеддинги декодеру Granite. Модель принимает аудио и текстовую инструкцию, позволяя запрашивать расшифровку, краткое содержание или ответы по содержанию записи. В первую очередь модель предназначена для распознавания речи; карточка также описывает сценарии суммаризации и вопросов по аудио. Реализация Keras 3 работает с TensorFlow, Torch и JAX. LoRA уже объединена с весами, отдельное переключение адаптера не требуется. Лицензия — Apache 2.0.

Hviske v3 conversation — модель распознавания датской речи, разработанная syv.ai и дообученная на базе CoRal-project/roest-whisper-large-v1. Она предназначена для транскрибации естественных разговоров: встреч, интервью, подкастов и других записей реальной речи. Модель построена на архитектуре Whisper и доступна в формате safetensors для запуска через Transformers. В README заявлено, что модель превосходит Whisper Large v3 и v3 Turbo по метрикам WER и CER, однако приведённое там исследование гендерного смещения основано на тестовом наборе всего с четырьмя дикторами и не является репрезентативным. Модель бесплатна согласно указанной в репозитории лицензии; тип лицензии в предоставленных данных не уточнён.

oddadmix/qwen3-asr-0.6b-arabic-dialectal — дообученная Oddadmix модель распознавания речи на основе Qwen/Qwen3-ASR-0.6B-hf. Это мультимодальная LLM-ASR с плотной архитектурой Qwen3-ASR; в README указано 0,6 млрд параметров (также приведена оценка 938 млн). Модель предназначена для транскрибации арабской речи из разных диалектных регионов, включая левантийский, магрибский, египетский, заливный, суданский и иракский арабский, а также литературный арабский. Она принимает аудио и выдаёт текст без диакритических знаков. На тестовом наборе из 932 фрагментов дообученная версия показала WER 0,676 и CER 0,408 против 0,756 и 0,454 у базовой модели в режиме zero-shot. Модель дообучена всеми параметрами на примерно 36,8 тыс. обучающих примеров после фильтрации; данные включали аугментации шума, музыки, скорости, голоса и реверберации. Подходит для офлайн-транскрибации коротких записей и оценки распознавания арабских диалектов. По данным README, обрабатывает фрагменты длительностью до 30 секунд и не поддерживает потоковое распознавание. Качество на реальных записях и отдельных диалектах может различаться; магрибские диалекты названы наиболее сложными. Лицензия — Apache-2.0; автор рекомендует проверять качество на собственных данных перед производственным использованием.

Sophea-Canary-ASR-mlx — конвертированная в формат MLX модель распознавания речи для Apple Silicon, опубликованная KIEFERSA. Это дообученная двуязычная версия NVIDIA Canary-1B-v2: около 978 млн параметров, FastConformer-энкодер и Transformer-декодер с механизмом attention. Веса представлены в bfloat16 и занимают около 1,9 ГБ; для работы используется библиотека mlx-audio. Модель распознаёт греческую и английскую речь, а также переводит речь с греческого на английский. Принимает монофонический звук с частотой 16 кГц; README сообщает об автоматическом приведении входного аудио к этой частоте. В тестах на FLEURS указаны WER 9,4% для греческого и 7,3% для английского. При распознавании греческого текста конечная сигма может выводиться как обычная σ; README предлагает детерминированную постобработку для восстановления ς. Лицензия — CC BY 4.0.

Tugstugi Regional ASR — модель автоматического распознавания речи, разработанная BengaliAI и дообученная на Whisper Medium от OpenAI. Она обучена на региональной бенгальской речи из набора Ben-10, включающего десять диалектов, и предназначена для преобразования такой речи в текст. Модель содержит 455,8 млн параметров, использует архитектуру Whisper и принимает аудио, выдавая текстовую транскрипцию. Карточка связывает её с исследованием об обобщении моделей распознавания речи на региональные диалекты языков с ограниченными ресурсами. Лицензия — Apache-2.0. Модель ориентирована на бенгальскую речь и региональные диалекты. Карточка не сообщает о качестве на других языках или в условиях, отличающихся от обучающих данных; результаты на них могут быть менее надёжными.

typhoon-asr-qwen-1.7b-ctx — модель распознавания тайской речи от Typhoon AI, созданная дообучением Qwen/Qwen3-ASR-1.7B-hf с LoRA. Она преобразует аудио в текст и поддерживает контекстное смещение распознавания: список имён и терминов передаётся в системном сообщении, а модель старается записать произнесённые элементы в указанном написании и игнорировать отвлекающие элементы. В README указано 2,07 млрд параметров; архитектура — плотная Qwen3-ASR, веса опубликованы в safetensors. Модель предназначена для транскрибации тайской речи, в том числе разговоров с именами и специальными терминами. В приведённых тестах она улучшает распознавание относительно исходной Qwen3-ASR-1.7B, особенно при контекстном смещении; результаты зависят от тестового набора и длины списка. Для контекстного режима формат строгий: список через пробелы в системном сообщении, затем отдельной строкой «Thai»; без списка достаточно указать «Thai». По README, до 50 элементов — предпочтительная длина списка. Лицензия — Apache-2.0.

PereLluis13/Wav2Vec2-Large-XLSR-53-catalan — модель распознавания каталонской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасете Common Voice 6. Она использует архитектуру Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт текстовую расшифровку на каталонском языке. Модель подходит для распознавания речи в аудиозаписях и оценки качества ASR на каталонском материале Common Voice. В карточке приведён результат 8,11% на тестовой выборке Common Voice; автор предупреждает, что существуют более новые каталонские модели, обученные на Common Voice 8 и показывающие лучшие результаты. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-53-Frisian — модель распознавания фризской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на фризском языке в текст. Для распознавания входная речь должна быть записана с частотой дискретизации 16 кГц. В оценке на тестовой части Common Voice указано значение 16,25%; метрика в карточке не уточнена. Модель распространяется по лицензии Apache-2.0. Карточка описывает обучение и оценку на Common Voice; результаты могут отличаться на других данных и условиях записи.

Это модель автоматического распознавания речи на основе Wav2Vec2, дообученная авторами репозитория asr-africa на базе facebook/wav2vec2-xls-r-300m на наборе данных FLEURS. Модель предназначена для преобразования аудиоречи на языке фула в текст. Модель содержит около 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. В карточке приведены результаты оценки на тестовой выборке: loss 1,1949, WER 0,6460 и CER 0,2359. Для использования доступны веса в формате safetensors; лицензия — Apache-2.0.

akera/whisper-large-v3-kin-100h-v2 — модель автоматического распознавания речи на основе Whisper, предназначенная для транскрибирования аудио на киньяруанда. Репозиторий связан с оценкой того, как объём обучающих данных влияет на качество распознавания речи на киньяруанда и кикую; карточка описывает эксперименты с наборами данных разного размера. В метаданных указаны архитектура WhisperForConditionalGeneration, около 905,2 млн параметров, библиотека Transformers и формат safetensors. Модель принимает аудио и выдаёт текстовую транскрипцию. Для репозитория указана лицензия MIT. В README не приведены конкретные метрики качества именно этой версии, поэтому её точность для отдельных условий записи оценить по имеющимся сведениям нельзя.

xezpeleta/whisper-medium-eu — модель автоматического распознавания речи, разработанная дообучением Whisper Medium от OpenAI на корпусе asierhv/composite_corpus_eu_v2.1. Модель на архитектуре Whisper содержит 455,8 млн параметров и предназначена прежде всего для транскрибации речи на баскском языке в текст. В карточке сообщается, что модель достигла WER 9,1045 на валидационной выборке обучающего корпуса и WER 7,14 на Mozilla Common Voice 18.0. Её применяют для профессиональной транскрибации и разработки приложений с распознаванием баскской речи. Модель доступна под лицензией Apache-2.0. Точность зависит от качества записи: шум, диалектная и неформальная речь, редкие слова и сложные языковые конструкции могут приводить к ошибкам. По сравнению с меньшими вариантами Whisper Medium требует больше вычислительных ресурсов и работает медленнее.

Zyroxx66/whisper-small-somali — дообученная модель распознавания речи на основе архитектуры Whisper, опубликованная пользователем Zyroxx66. Она предназначена для преобразования сомалийской речи в текст. В README приведены результаты оценки: loss 0,1304 и WER 9,8739; сведения о наборе данных и условиях оценки отсутствуют. Модель распространяется в формате safetensors и рассчитана на работу через Transformers.

Whisper Twi v2 — модель автоматического распознавания речи, разработанная Tiffany Degbotse на основе Whisper от OpenAI. Это дообученная версия openai/whisper-small с архитектурой Whisper для преобразования аудио на языке тви (акан) в текст. Модель предназначена для транскрибирования речи, голосовых интерфейсов, инструментов доступности и лингвистического анализа речи на акане. Модель ориентирована на поддержку африканских языков с ограниченными ресурсами. В карточке указаны 29,4 млн параметров, формат safetensors и лицензия Apache-2.0. Качество распознавания может снижаться на сильно зашумлённых записях, при частом переключении между языками и для диалектов, недостаточно представленных в обучающих данных; перед внедрением рекомендуется оценить её на целевых аудиозаписях.

Модель GiftMark/akan-whisper-model разработана Марком Атта Менсахом и представляет собой дообученную версию OpenAI Whisper Small с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Она предназначена для автоматического распознавания речи на языке акан, включая твийский вариант, и преобразования аудио в текст. Модель можно использовать в сервисах транскрибации, голосовых помощниках и приложениях, которым нужна поддержка акан; её также можно дополнительно адаптировать под конкретную область. Модель дообучена на аудиозаписях акан с соответствующими транскрипциями из набора Lagyamfi/akan_audio_processed и распространяется в формате safetensors через Transformers. Лицензия в предоставленных данных не указана. Качество может снижаться на акцентах, диалектах и языковых вариантах, недостаточно представленных в обучающем наборе; модель не предназначена для распознавания других языков без дополнительного дообучения.

Ethio-ASR-afrihubert-uf — модель автоматического распознавания речи, созданная в рамках независимого воспроизведения исследования Ethio-ASR в Университете Флориды. Это дообученная на эфиопской части набора WAXAL модель AfriHuBERT с архитектурой HuBERT и CTC-декодированием; она содержит 113,6 млн параметров и распространяется в формате safetensors для Transformers. Модель предназначена для транскрибирования речи на амхарском, тигринья, оромо, сидаама и волайтта. На тестовом разбиении WAXAL указаны WER 35,16% для амхарского, 30,06% для оромо и 34,66% для сидаама при обработке, включающей объединение омографов письма геэз и удаление пунктуации; без такой обработки макро-WER составляет 41,71%. Воспроизведение отстаёт от опубликованного в статье чекпойнта на 1,63%. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но не для коммерческих целей.

Fadhma-300M — модель распознавания речи на кабильском языке (таqbaylit), разработанная agbalu. Это акустическая модель на 402,7 млн параметров с архитектурой Wav2Vec2ForCTC, дообученная на базе ylacombe/omniASR_W2V_300M_SSL. Она преобразует аудио в текст латиницей с канонической кабильской орфографией; для декодирования доступны жадный CTC-режим и поиск по лучам с 5-граммной языковой моделью, построенной на кабильском текстовом корпусе. Модель предназначена для расшифровки кабильской речи в голосовых заметках, устных архивах, интервью и вещательных записях, а также для преобразования речи в текст перед дальнейшей языковой обработкой. На тесте Common Voice 22.0 с 15 003 высказываниями и разделением по говорящим указаны CER 8,01% и WER 25,65% при поиске по лучам с языковой моделью; без неё — 8,53% и 30,12%. Лицензия — Apache-2.0.

Vatho разработал Khmer-ocm — модель автоматического распознавания кхмерской речи, дообученную на 50 часах кхмерского речевого корпуса на базе facebook/wav2vec2-xls-r-300m. Это архитектура Wav2Vec2 с CTC-декодированием, предназначенная для преобразования аудиозаписей в текст; размер модели составляет 402,7 млн параметров, веса опубликованы в формате Safetensors. Модель рассчитана на кхмерский язык и лучше всего работает с чистыми записями с частотой 16 кГц. При нормализации текста сохраняются только символы кхмерского блока Unicode U+1780–U+17FF, а пунктуация, латиница и лишние пробелы удаляются. На шумной речи и данных, отличающихся от обучающих, качество может снижаться; при декодировании не применяется языковая модель для дополнительного пересчёта. Лицензия — Apache 2.0.

Parakeet Realtime EOU 120M — CoreML — это конвертированная в формат CoreML потоковая модель автоматического распознавания речи с определением конца высказывания (EOU). Она разработана на основе nvidia/parakeet_realtime_eou_120m-v1 и предназначена для работы на устройствах Apple Silicon, в том числе в FluidAudio, для транскрибации речи в реальном времени и голосовых агентов. Модель содержит около 120 млн параметров и реализует архитектуру RNNT: 17-слойный FastConformer-энкодер с кэшированием состояния для потоковой обработки, однослойный LSTM-декодер с 640 скрытыми единицами и joint-сеть для предсказания токенов и EOU. RNNT-пайплайн разделён на три CoreML-модели: streaming_encoder, decoder и joint_decision. Поддерживаются варианты с размером аудиочанка 160 и 320 мс. На Apple M2 показатель WER на LibriSpeech test-clean составляет соответственно 8,29% и 4,87%, а RTFx — 4,78x и 12,48x. В README указан английский язык. Сильные стороны модели — потоковая обработка с сохранением контекста между чанками, низкая задержка, высокая скорость на Apple Silicon и встроенное определение завершения высказывания. Ограничения включают привязку к CoreML и Apple Silicon, а также различие между задержкой и точностью в зависимости от размера чанка; приведённые метрики относятся только к LibriSpeech test-clean. Модель распространяется по NVIDIA Open Model License; подробные условия доступны по ссылке NVIDIA.

oddadmix/qwen3-asr-1.7b-arabic-dialectal-v2 — дообученная oddadmix модель распознавания речи на базе Qwen/Qwen3-ASR-1.7B-hf с архитектурой Qwen3-ASR и 1,7 млрд параметров. Она предназначена для транскрибации арабской речи с разных диалектов в текст; модель обучена на сбалансированном по диалектам наборе oddadmix/lahgtna-v3-small. В карточке приведены результаты на тестовой выборке примерно из 2600 аудиофрагментов: WER 0,478 и CER 0,182 при оценке нормализованного текста без диакритики. По опубликованным примерам и метрикам качество различается между диалектами: легче распознаются Gulf/Levantine, а магрибские диалекты сложнее. Модель принимает аудио и выдаёт текст, работает через Transformers; длина контекста не указана. Веса распространяются по лицензии Apache-2.0. Результаты карточки относятся к указанному тестовому набору, поэтому качество на других записях и условиях может отличаться.

vadimbelsky выпустил дообученную версию Qwen3-ASR-1.7B для распознавания речи на саудовском диалекте арабского языка (KSA). Модель основана на последовательном дообучении базовой Qwen3-ASR-1.7B через версию для диалекта ОАЭ и предназначена для транскрибации аудио с речью из Саудовской Аравии. По оценке на 849 примерах валидационной выборки модель показала WER 11,49% и CER 5,78%, улучшив результаты базовой версии на этом наборе. Она лучше обрабатывает местные выражения и лексику, придерживается неформального написания и реже добавляет лишнюю пунктуацию. Модель принимает аудио и выдаёт текст; репозиторий использует архитектуру Qwen3-ASR и формат safetensors. Лицензия — Apache-2.0.

SEW-tiny-100k-ft-ls100h — модель распознавания речи от ASAPP Research, основанная на архитектуре Squeezed and Efficient Wav2vec (SEW) и дообученная для автоматической транскрипции на LibriSpeech. Это акустическая модель SEWForCTC с 50,3 млн параметров; она принимает речь в виде аудио с частотой дискретизации 16 кГц и выдаёт текст. В карточке также описаны возможные направления дообучения базовой архитектуры для идентификации говорящего, классификации намерений и распознавания эмоций, но этот чекпойнт предназначен для ASR. Модель рассчитана на распознавание англоязычной речи. Для SEW в исследовательской работе заявлены улучшения скорости вывода и качества распознавания относительно wav2vec 2.0; конкретные показатели в README относятся к экспериментам статьи, а не гарантируют результат для каждого сценария. Для использования применяется библиотека Transformers. Лицензия — Apache-2.0.

TEA-ASR-1.1-mini-fmt — компактная модель автоматического распознавания речи для тайваньского мандаринского языка, разработанная как вариант TEA-ASR-1.1-mini с управляемым форматом записи числительных. Модель дообучена на базе Qwen/Qwen3-ASR-0.6B и содержит около 780 млн параметров. Она принимает аудио и транскрибирует его традиционными китайскими иероглифами, включая тайваньскую лексику. Формат числительных задаётся префиксом декодера: можно выбрать арабские цифры или запись китайскими числительными. Управление форматом даёт умеренный эффект: оно заметнее на обычной тайваньской речи и слабее на спонтанных лекциях. Модель рассчитана прежде всего на мандаринскую речь; по устойчивости к плотному переключению между китайским и английским она уступает основной версии TEA-ASR-1.1-mini. В README приведены результаты тестирования на CommonVoice, ASCEND и CSZS. Подходит для расшифровки субтитров, записей и журналов, где требуется единое оформление чисел, при ограниченных вычислительных ресурсах. Использует архитектуру Qwen3-ASR и формат весов Safetensors; для работы с моделью указана библиотека Transformers. Лицензия — MIT.

Harveenchadha/vakyansh-wav2vec2-kannada-knm-560 — модель автоматического распознавания речи на основе Wav2Vec2 с выходной CTC-архитектурой. В карточке Hugging Face указано, что это модель для распознавания речи; параметры составляют около 113,3 млн, веса доступны в формате PyTorch. Модель предназначена для преобразования аудиозаписей на каннада в текст; процессор настроен на аудио с частотой дискретизации 16 кГц. Модель подходит для транскрибирования речи на каннада, например, записей и аудио в прикладных системах распознавания речи. В карточке нет сведений о лицензии, оценках качества или подробных ограничениях применимости, поэтому эти характеристики нельзя надёжно описать.

Это базовая модель Wav2Vec2, разработанная Facebook AI и предварительно обученная на неразмеченной франкоязычной части корпуса VoxPopuli. Она предназначена для извлечения речевых представлений и может служить основой для распознавания французской речи после дообучения на конкретную задачу или язык. Модель содержит 113,3 млн параметров, использует архитектуру Wav2Vec2 и принимает аудио; в карточке Hugging Face указана задача automatic-speech-recognition и формат PyTorch. Модель поддерживает французский язык и подходит как стартовый чекпойнт для создания систем транскрибирования французской речи. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Для готового распознавания речи может потребоваться дообучение на размеченных данных.

Модель anuragshas/wav2vec2-xls-r-300m-bn-cv9-with-lm — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на бенгальском языке. Она основана на архитектуре Wav2Vec2ForCTC и обучена на бенгальской части набора Mozilla Common Voice 9.0. Репозиторий содержит веса PyTorch; общее число параметров — около 402,7 млн. Модель предназначена для преобразования бенгальской речи в текст, например, для расшифровки записей и голосового ввода. В README приведены результаты оценки на тестовом наборе: WER 0,285 и CER 0,066. Модель распространяется по лицензии Apache-2.0; качество на других наборах данных и в реальных условиях может отличаться.

Whisper Gujarati Small — модель автоматического распознавания речи, созданная дообучением openai/whisper-small на данных гуджарати из нескольких общедоступных корпусов. Она предназначена для преобразования речи на гуджарати в текст и оценки систем распознавания речи на тестовых наборах для индийских языков. Модель основана на архитектуре Whisper и содержит около 153,1 млн параметров. В репозитории представлены веса PyTorch и Flax; в карточке также описано использование Flax-реализации Whisper для оценки модели. Обучающие данные включают ULCA ASR Corpus, Microsoft Speech Corpus (Indian Languages), Google/Fleurs и OpenSLR. Модель распространяется по лицензии Apache-2.0. Карточка не приводит численных результатов качества или сведений о длине контекста.

Это дообученная модель OpenAI Whisper Large V3 Turbo от ele-sage для автоматического распознавания речи на канадском французском, включая квебекский диалект. Она преобразует аудио в текст и рассчитана на транскрибацию медиа, подкастов, интервью, формальных выступлений и повседневной речи с региональными акцентами. Модель построена на архитектуре Whisper с последовательным преобразованием аудио в текст и содержит около 905,2 млн параметров. Для дообучения использовали примерно 69 часов записей: выступления в Национальной ассамблее Квебека и данные Common Voice на канадском и других вариантах французского. В README указана частота дискретизации 16 кГц; фрагменты длиннее 30 секунд исключались или сегментировались. На валидационном наборе автор сообщает WER 6,65%. Модель предназначена прежде всего для французской речи из Квебека; обучение на формальных выступлениях и краудсорсинговых записях призвано охватить разные регистры. Это не гарантия точности на других акцентах, шумных записях или темах, не представленных в обучающих данных. Лицензия — MIT.

Карточка модели VARabic/whisper-medium-finetuned-sada-asr на Hugging Face совпадает с карточкой wageehkhad/whisper-medium-finetuned-sada-asr, поэтому описание составлено по ней. Модель wageehkhad/whisper-medium-finetuned-sada-asr — версия Whisper Medium, дообученная на наборе SADA22 для автоматического распознавания саудовской арабской речи. Она преобразует аудиозаписи в текст и использовалась как компонент распознавания речи в экспериментах по оценке диалектности арабского языка: полученную расшифровку передавали текстовому классификатору диалектности. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 455,8 млн параметров; опубликована в формате safetensors. Базовая модель — openai/whisper-medium. Основной сценарий — транскрибация саудовской арабской речи. Модель рассчитана на речевые сегменты длительностью до 30 секунд; более длинные записи можно обрабатывать с автоматическим разбиением на части в используемом pipeline. Дообучение ориентировано на саудовский диалект, поэтому качество на других арабских диалектах и передачах на литературном арабском может быть ниже. Лицензия — Apache-2.0.

Whisper Small Bisaya — модель распознавания речи, полученная дообучением openai/whisper-small на частном корпусе Bisaya Speech Corpus. Она принимает аудио и преобразует речь на бисайя в текст. В карточке указана оценка WER 44,52 на тестовой выборке; подробности протокола оценки не приведены. Модель распространяется под лицензией Apache-2.0.