I.9Аудио и музыка

Shenava-Koochik 0.9 — потоковая модель распознавания персидской речи, разработанная в рамках проекта VisualEars. Это дообученная модель FastConformer-Hybrid размером 114 млн параметров с головами RNNT и CTC, рассчитанная на аудио с частотой 16 кГц. Она принимает поток речи и выдаёт текстовую расшифровку; один чекпойнт позволяет выбирать задержку от 0 до 1040 мс без повторного обучения. Модель предназначена для офлайн-распознавания в реальном времени на устройстве, включая субтитры и транскрибацию. В README приведены результаты оценки на 6 669 персидских аудиофрагментах: WER составляет 8,57% при нулевой задержке и 7,60% при задержке 1040 мс для RNNT. Для потоковой работы через WebGPU рекомендована голова CTC, а RNNT подходит для более точного распознавания или перескоринга. Модель обучалась на псевдоразмеченных персидских данных с последующей настройкой на проверенных человеком примерах. Модель распространяется по лицензии Apache-2.0. Версия 0.9 обучена на 300 проверенных человеком примерах; README сообщает, что более крупный раунд разметки планируется для версии 1.0. Оценка качества приведена для конкретного набора данных и нормализатора, поэтому её не следует считать гарантией точности на других источниках речи.

MOHAMEDOMAR25/somali-wav2vec2-mode — дообученная модель Wav2Vec2ForCTC для автоматического распознавания речи на сомалийском языке. Она преобразует сомалийскую аудиозапись в текст и используется как основа веб-приложения для создания субтитров к видео. Модель содержит 402,7 млн параметров и распространяется в формате safetensors. Её можно применять через библиотеку Transformers для транскрибации речи и подготовки текста для субтитров; Apache-2.0 разрешает использование на условиях этой лицензии. Для длинных видео пример приложения использует разбиение аудио на фрагменты с помощью обнаружения речевой активности. Карточка не приводит оценок качества или ограничений распознавания.

Voxtral Mini 4B Realtime 2602 — мультиязычная модель распознавания речи в реальном времени от Mistral AI. Это плотная модель семейства Voxtral Realtime с архитектурой VoxtralRealtimeForConditionalGeneration, дообученная на базе mistralai/Ministral-3-3B-Base-2512. Веса представлены в safetensors; для запуска поддерживается vLLM, а Transformers поддерживает модель начиная с версии 5.2.0. Модель предназначена для потоковой транскрипции аудио с небольшой задержкой. README рекомендует задержку 480 мс; указана поддержка английского, французского, испанского, немецкого, русского, китайского, японского, итальянского, португальского, нидерландского, арабского, хинди и корейского языков. По описанию, при настройках vLLM по умолчанию контекст позволяет обрабатывать аудио продолжительностью примерно до трёх часов, хотя практический предел зависит от выделенной памяти и параметров запуска. Модель показывает конкурентные результаты среди систем транскрипции реального времени, но в приведённом сравнении Fleurs уступает офлайн-модели Voxtral Mini Transcribe 2.0. Для работы с потоковым аудио рекомендуются веб-сокеты; запуск через vLLM требует GPU с памятью не менее 16 ГБ. Архитектура пока имеет ограниченную поддержку в программных инструментах: README отмечает поддержку vLLM и Transformers, а запуск через ExecuTorch обозначен как непроверенный. Лицензия — Apache-2.0.

Модель Kiran Pantha — дообученная версия kiranpantha/w2v-bert-2.0-nepali для автоматического распознавания непальской речи и преобразования аудиозаписей в текст. Она основана на архитектуре Wav2Vec2-BERT, использует CTC и содержит 402,7 млн параметров. Модель дообучена на датасете OpenSLR54-Balanced-Nepali. В README указаны результаты на оценочном наборе: WER 0,4302 и CER 0,1029. Репозиторий распространяется по лицензии MIT.

Модель badrex/w2v-bert-2.0-zulu-asr разработана Badr al-Absi для автоматического распознавания речи на языке зулу. Это дообученная на 250 часах размеченной речи версия facebook/w2v-bert-2.0 с архитектурой Wav2Vec2-BERT: свёрточным извлекателем признаков и трансформерным энкодером; для распознавания используется CTC. В метаданных указано 402,7 млн параметров, формат весов — Safetensors. Авторы сообщают о WER ниже 16,3% на данных из целевого домена. Модель принимает аудио и выдаёт текстовую транскрипцию. Она подходит для транскрибирования записей на зулу, голосовых интерфейсов и инструментов доступности. Лицензия — CC-BY-4.0, требующая указания авторства. Качество заявлено для данных целевого домена; приведённые примеры показывают возможные ошибки распознавания и нормализации слов.

Taeham/wav2vec2-ksponspeech — модель распознавания корейской речи, созданная дообучением Wav2vec2-large-xlsr-53 на данных Ksponspeech. Она принимает аудио и преобразует речь в текст; карточка указывает на обучение на двух частях обучающей выборки Ksponspeech и сообщает WER 0,373 на сторонних тестовых данных. Архитектура — Wav2Vec2ForCTC, размер — 403,1 млн параметров; модель опубликована в формате PyTorch и рассчитана на корейский язык. Модель подходит для транскрибации корейской речи и получения черновых расшифровок аудиозаписей. Точность может улучшаться при унификации записи чисел и символов, нормализации пунктуации и исправлении слов по контексту; указанный WER показывает, что распознанный текст может требовать постобработки. Лицензия — Apache-2.0.

DrishtiSharma/wav2vec2-large-xls-r-300m-hi-CV7 — модель распознавания речи, разработанная Drishti Sharma и дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Common Voice 7.0 для языка хинди. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст на хинди. Модель подходит для транскрибирования записей речи и оценки систем распознавания хинди. В README указаны значения loss 0,6588 и WER 0,2987 на оценочном наборе. Модель распространяется по лицензии Apache-2.0.

wav2vec2-nepali — модель распознавания речи, разработанная Анишем Шилпакаром путём дообучения Facebook wav2vec2 на данных OpenSLR для непальского языка. Архитектура Wav2Vec2ForCTC содержит около 402,7 млн параметров; модель принимает аудио и преобразует непальскую речь в текст. Подходит для расшифровки речи и голосового ввода, а также для интеграции в системы суммаризации речи или перевода. В карточке заявлена точность 91% в обычных условиях, однако метрика описана без подробностей о протоколе оценки. Модель распространяется в формате PyTorch; сведения о лицензии в предоставленных материалах отсутствуют.

aasem/wav2vec2-xls-r-300m-Urdu — модель автоматического распознавания речи, созданная дообучением модели Facebook wav2vec2 XLS-R 300M на наборе Common Voice 8.0 для урду. Она принимает аудио и преобразует речь на урду в текст; архитектура — Wav2Vec2ForCTC на основе wav2vec2, объём модели по метаданным составляет 402,7 млн параметров. В карточке приведены результаты на Common Voice: WER 0,2459 и CER 0,0691. Модель предназначена для транскрибирования записей и голосовых сообщений на урду. Репозиторий содержит веса PyTorch, для работы используется Transformers. Лицензия — MIT. Карточка приводит оценку на Common Voice, однако не описывает качество на других наборах данных и в иных акустических условиях.

Wav2Vec2-Large-XLSR-53-Nepali — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на непальском языке. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования непальской речи в текст; в карточке показаны примеры распознанных фраз и результат оценки на тестовой части Common Voice — 5,97%. Для входной речи требуется частота дискретизации 16 кГц. Модель обучалась на данных Common Voice и OpenSLR. Репозиторий содержит веса PyTorch и Flax; размер модели — около 402,7 млн параметров. Лицензия — Apache-2.0. Карточка указывает распознавание без языковой модели, однако качество на других наборах данных и устойчивость к разным условиям записи не описаны.

noirlab/whisper-large-v3-lingala-asr — дообученная модель распознавания речи на основе openai/whisper-large-v3, созданная для транскрибации аудио на языке лингала. Модель использует архитектуру Whisper и содержит около 905,2 млн параметров; она дообучена на наборе Google FLEURS. Модель принимает аудио и выдаёт текстовую транскрипцию. На тестовом наборе указаны Loss 0,4297 и WER 14,8266. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

kingabzpro/whisper-large-v3-urdu — модель распознавания речи, созданная дообучением Whisper large-v3 от OpenAI на наборе Common Voice 17.0. Она предназначена для преобразования речи на урду в текст; для запуска можно использовать библиотеку Transformers и pipeline automatic-speech-recognition. Модель содержит 905,2 млн параметров и принимает аудио, выдавая текстовую транскрипцию. В README приведены оценки на тестовой части Common Voice 17.0: WER 26,019%, CER 9,426% и BLEU 59,446%; в другом разделе указаны WER 21,4712% и CER 7,1975%, поэтому результаты в карточке расходятся. Лицензия — Apache-2.0.

Модель juancopi81/whisper-medium-es-train-valid — версия Whisper Medium, дообученная разработчиком juancopi81 на наборе Common Voice 11.0 для автоматического распознавания речи. Она принимает аудио и генерирует текст; карточка сообщает WER 5,9456 на тестовой выборке и WER 7,02 на google/fleurs. Модель содержит 455,8 млн параметров и представлена в форматах PyTorch и Safetensors. Модель подходит для транскрибирования испанской речи и оценки систем распознавания на речевых наборах данных. Лицензия — Apache-2.0. Карточка не описывает ограничения применимости и подробные условия оценки качества, поэтому приведённые метрики относятся только к указанным тестовым наборам.

whisper-small-faroese-5k-steps-100h — модель автоматического распознавания речи на фарерском языке, созданная Карлосом Даниэлем Эрнандесом Мена в Language and Voice Lab Университета Рейкьявика. Это дообученная версия openai/whisper-small: модель Whisper с 153,1 млн параметров обучали 5 000 шагов на 100 часах фарерской речи и транскрипций из набора Ravnursson Faroese Speech and Transcripts проекта Ravnur. Модель принимает аудио и преобразует речь в текст. Она предназначена для транскрибирования фарерской речи, в том числе материалов, связанных с Фарерскими островами. В репозитории указана лицензия CC BY 4.0.

Ivydata/whisper-small-japanese — модель распознавания японской речи, созданная дообучением openai/whisper-small на датасетах Common Voice, JVS и JSUT. Это плотная модель архитектуры Whisper с 153,1 млн параметров, предназначенная для преобразования аудио в текст. Для распознавания входная речь должна быть дискретизирована с частотой 16 кГц. В карточке приведён результат оценки на наборе TEDxJP-10K: Character Error Rate (CER) составляет 23,10%. Модель рассчитана на японский язык. Она распространяется по лицензии Apache-2.0.

steja/whisper-small-persian — модель автоматического распознавания речи на основе архитектуры Whisper small, дообученная на персидской части набора Mozilla Common Voice 11.0. Веса содержат около 153,1 млн параметров; модель принимает аудио и генерирует текстовую расшифровку на персидском языке. Модель предназначена для транскрибирования персидской речи. В карточке указаны результаты оценки на тестовой выборке: Loss 0,4924 и WER 32,8995. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.

smutuvi/whisper-small-sw-common-voice — дообученная модель автоматического распознавания речи на базе openai/whisper-small. Она предназначена для преобразования аудиозаписей речи на суахили в текст. В README приведены результаты оценки: loss 0,4254 и WER 32,1287; подробности о наборе данных и условиях оценки не раскрыты. Модель использует архитектуру Whisper и содержит 153,1 млн параметров. Базовая Whisper-small — мультиязычная модель для транскрибирования речи и перевода аудио на английский, однако эта версия дообучена для распознавания суахили. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Plim/xls-r-300m-cv_8-fr — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на французской части набора Mozilla Common Voice 8.0. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров. Модель принимает аудио и преобразует французскую речь в текст. Её можно применять для транскрибации записей и оценки качества распознавания на тестовых наборах французской речи. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Модель специализирована на французском языке и данных Common Voice 8.0. README не приводит результатов оценки, поэтому качество на других источниках аудио и в реальных условиях по имеющимся данным оценить нельзя.

Canary-1B GGUF — это квантизированная версия мультиязычной модели NVIDIA Canary-1B, подготовленная handy-computer для запуска через transcribe.cpp. Модель предназначена для офлайн-распознавания речи и перевода речи в текст. Она принимает монофонические WAV-файлы с частотой 16 кГц и не поддерживает потоковую обработку. Модель содержит около 1 млрд параметров и использует архитектуру multitask AED с 24-слойным энкодером FastConformer и 24-слойным Transformer-декодером. Поддерживается автоматическое распознавание речи на английском, немецком, французском и испанском языках. Также доступны переводы с английского на немецкий, французский и испанский, а также с этих языков на английский, включая варианты с пунктуацией и капитализацией. Определение языка и временные метки не поддерживаются. Доступны варианты GGUF от F32 до Q4_K_M размером примерно от 4,09 ГБ до 730 МБ. На LibriSpeech test-clean заявленный показатель WER составляет 1,55% для F32, F16, Q8_0 и Q4_K_M и 1,57% для Q6_K и Q5_K_M; результаты на FLEURS для Q8_0 составляют 4,44–7,44% в зависимости от языка. Квантизация позволяет снизить требования к памяти при близком качестве, однако производительность зависит от оборудования. Модель распространяется по лицензии CC-BY-NC-4.0, разрешающей только некоммерческое использование.

Cohere Transcribe Arabic — это открытая модель автоматического распознавания речи с архитектурой audio-in, text-out, разработанная Cohere и Cohere Labs. Данная версия представляет собой GGUF-квантизированные сборки базовой модели CohereLabs/cohere-transcribe-arabic-07-2026 для работы с transcribe.cpp. Модель содержит около 2 млрд параметров и предназначена прежде всего для офлайн-транскрибации арабской речи, включая диалекты и смешанную арабско-английскую речь; английский поддерживается как вторичный язык. В основе лежит Conformer-энкодер и Transformer encoder-decoder head с cross-attention и связанными токенными embedding. Модель принимает монофонический WAV с частотой 16 кГц и использует явно заданный языковой флаг арабского или английского языка. Декодирование выполняется авторегрессионно. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,56 до 4,11 ГБ. На тесте FLEURS Arabic показатель WER составляет 10,95–11,18% в зависимости от квантизации, при этом качество квантизированных вариантов близко к эталонной BF16-версии; на LibriSpeech test-clean для доступных конфигураций указан WER около 1,33–1,34%. Сильные стороны модели — ориентация на арабскую речь, поддержку диалектов и code-switching, офлайн-работу и наличие нескольких вариантов квантизации для выбора между качеством и требованиями к памяти. Ограничения: потоковая обработка, перевод, автоматическое определение языка и временные метки не поддерживаются. Для работы требуется transcribe.cpp, а аудио должно быть предварительно приведено к формату 16 кГц mono WAV. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Data2Vec Audio — это модель автоматического распознавания речи, разработанная Meta под именем facebook/data2vec-audio-base-960h и преобразованная в формат GGUF для использования с CrispASR. Модель предназначена для транскрибации англоязычных аудиозаписей и совместима с backend wav2vec2 в CrispASR. Архитектура включает сверточный экстрактор признаков в стиле wav2vec2 с 7 слоями и размерностью 512, 12-слойный Transformer с размерностью 768 и 12 attention heads, а также CTC-head. Модель содержит около 95 млн параметров. Она прошла self-supervised pre-training на LibriSpeech объёмом 960 часов и последующее обучение с CTC loss. Поддерживается только английский язык. Заявленная частота ошибок составляет 1,89% на LibriSpeech test-clean и 4,07% на test-other. Сильные стороны модели — относительно компактный размер, хорошая точность на англоязычной речи и сохранение результатов исходной Hugging Face-модели в вариантах GGUF с разной точностью, включая F16, Q4_K и Q8_0. Ограничение — специализация только на английском языке; качество на других языках и сценариях в предоставленных данных не указано. Модель распространяется по лицензии Apache 2.0.

IndicConformer — модель автоматического распознавания речи на тамильском языке, разработанная AI4Bharat. Она принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает транскрипцию в виде текста. Модель предназначена для преобразования тамильской речи в текст, например для расшифровки аудиозаписей и создания текстовых версий речевого контента. В основе модели — Conformer-Large-энкодер примерно на 120 млн параметров с 17 блоками и размерностью 512, а декодирование реализовано гибридной схемой CTC-RNNT. Доступны варианты декодирования CTC и RNNT. Модель опубликована под лицензией MIT; для загрузки и работы README рекомендует AI4Bharat NeMo.

Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает хинди в названии модели, а базовая модель каталога имеет подтверждённую поддержку хинди. Модель реализована как WhisperForConditionalGeneration и распространяется в формате safetensors. В README приведены результаты оценки: loss 0.5186 и Global WER 26.4368. Описание набора данных, условия оценки и подробные сценарии применения в карточке не раскрыты, поэтому результаты нельзя переносить на другие данные без проверки. Лицензия — MIT.

Kotoba-Whisper-Bilingual v1.0 — модель распознавания и перевода речи, разработанная Асахи Усио совместно с Kotoba Technologies. Она основана на архитектуре Whisper и обучена методом дистилляции: полный энкодер взят от Whisper large-v3, а двухслойный декодер инициализирован слоями учительской модели. В репозитории указаны веса safetensors; модель также заявлена как совместимая с faster-whisper и whisper.cpp. Модель принимает аудио и умеет распознавать японскую и английскую речь, а также переводить речь с японского на английский и с английского на японский текст. Для обучения использовались ReazonSpeech и Multilingual LibriSpeech, а переводные обучающие тексты получены с помощью внешней LLM. Модель предназначена для транскрибации и сквозного речевого перевода; авторы указывают ускорение до 6,3 раза относительно Whisper large-v3. В переводных задачах авторы отмечают более высокие показатели точности у каскадного подхода, хотя он требует больше памяти и усложняет обработку. Модель содержит около 905,2 млн параметров, поддерживается библиотекой Transformers версии 4.39 и новее и распространяется по лицензии Apache-2.0.

Moonshine Tiny Arabic — модель распознавания речи семейства Moonshine, разработанная Moonshine AI (ранее Useful Sensors). Это компактная seq2seq-модель на 27 млн параметров для транскрибации арабской речи в арабский текст, в том числе при переключении между языками. Она предназначена для разработчиков систем распознавания речи, которым нужно запускать транскрибацию в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами. Модель поддерживается библиотекой Transformers, использует аудио на входе и выдаёт текст; в метаданных указан контекст длиной 194 токена. В карточке сообщается о сравнительных оценках на Fleurs и Common Voice 17, но результаты зависят от набора данных и не гарантируют точности в конкретной среде. Возможны галлюцинации и повторение фрагментов, особенно на коротких или обрезанных аудиозаписях. Распознавание речи не следует использовать для субъективной классификации людей или для решений с высокими последствиями; запись людей без их согласия также не рекомендуется. Лицензия указана как other, поэтому конкретные условия следует проверить в карточке модели.

Parakeet-RNNT 0.6B — английская модель распознавания речи NVIDIA NeMo, опубликованная организацией loom-ai-org в формате GGUF для запуска в loom.cpp через loom-py-rt. Она преобразует аудио с английской речью в текстовую расшифровку и предназначена для сценариев автоматического распознавания речи. В репозитории указано, что веса не изменены относительно nvidia/parakeet-rnnt-0.6b: это конверсия модели в самодостаточный формат GGUF, содержащий необходимые для запуска компоненты. Модель поддерживается библиотекой loom-py-rt и распространяется по лицензии CC BY 4.0. README описывает автоматические оконную обработку, семплирование и сборку результата в высокоуровневом интерфейсе запуска. Модель рассчитана на английский язык; сведений о поддержке других языков или длине контекста в предоставленных данных нет.

PSST medium — модель распознавания речи, созданная дообучением openai/whisper-medium.en на сегментах корпуса Santa Barbara Corpus of Spoken American English. Она предназначена для преобразования аудиозаписей разговорного американского английского в текст. Модель основана на архитектуре Whisper и содержит 455,8 млн параметров. Модель подходит для расшифровки разговорной речи, представленной в обучающем корпусе. Веса доступны в формате PyTorch по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробных ограничений.

UBC-NLP/Simba-S — модель распознавания речи из семейства Simba, разработанная UBC-NLP и дообученная на наборе SimbaBench. Она предназначена для преобразования речи в текст на африканских языках и поддерживает 43 языка, включая амхарский, арабский, хауса, суахили, йоруба, зулу, французский и португальский. Модель использует архитектуру SeamlessM4T-v2, содержит 664,9 млн параметров и рассчитана на контекст до 4096 токенов; для работы предусмотрена библиотека Transformers. Simba-S подходит для транскрибации речи в многоязычных приложениях и сценариях с языками, представленными в обучающих данных. В README семейство позиционируется как специализированное для африканских языков и сообщает о высоких результатах на SimbaBench, однако это утверждение не сопровождается в карточке численными метриками. Репозиторий распространяется по лицензии CC BY 4.0.

SpeechLLM-1.5B — мультимодальная модель Skit AI для анализа аудиореплик в разговоре. Она принимает речь и предсказывает наличие речевой активности, текстовую расшифровку, а также категории пола, возраста, акцента и эмоции говорящего. В карточке описана версия размером 1,5 млрд параметров, дообученная на базе WavLM и TinyLlama с адаптерами; архитектура указана как SpeechLLMModel. В метаданных Hugging Face основной тег задачи — feature-extraction, а файлы представлены в формате safetensors. Модель рассчитана на англоязычную речь. В опубликованных результатах для LibriSpeech указана частота ошибок распознавания слов 11,51% на test-clean и 16,68% на test-other; на Common Voice точность определения возраста составляет 64,98%, акцента — 81,21%, пола — 94,76%. Эти результаты относятся к указанным наборам данных и не гарантируют такую же точность на других записях. Лицензия — Apache-2.0.

Akashpb13/Swahili_xlsr — акустическая модель распознавания речи на основе Wav2Vec2 XLS-R 300M, дообученная на Common Voice 7.0. Модель принимает аудио и с помощью CTC декодирования преобразует речь на суахили в текст. В метаданных указано 402,7 млн параметров; модель представлена в форматах PyTorch и Safetensors. Модель предназначена для транскрибирования записей и оценки распознавания речи на суахили. В README приведены результаты оценки: WER 0,188 и loss 0,159; метрики относятся к указанному автором набору оценки и не гарантируют аналогичного качества на других данных. README содержит несогласованность: в описании обучения упоминаются данные Common Voice на хауса, тогда как название модели и конфигурация оценки указывают на суахили. Лицензия — Apache-2.0.