I.9Аудио и музыка

reichenbach/wav2vec2-large-xls-r-300m-as — модель автоматического распознавания речи, дообученная на Common Voice на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст на ассамском языке. В карточке приведены результаты оценки: WER 0,5174 и WER 0,7224 на тестовом наборе Common Voice Assamese v7.0, CER 0,2882. Модель распространяется по лицензии Apache-2.0.

Модель SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-original-split-part4-epoch30-final — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая текстовую транскрипцию. В README приведены результаты оценки: loss 0,1837 и WER 0,1334; датасет и условия оценки не описаны, поэтому эти показатели нельзя напрямую переносить на другие данные. Репозиторий содержит веса в формате safetensors, размер модели — около 402,7 млн параметров. Лицензия — Apache-2.0.

elgeish/wav2vec2-large-xlsr-53-arabic — модель автоматического распознавания арабской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасетах Arabic Speech Corpus и Common Voice. Это плотная архитектура wav2vec2 с CTC-выходом и примерно 402,7 млн параметров; репозиторий содержит веса PyTorch и Flax. Модель принимает аудио с частотой дискретизации 16 кГц и предназначена для преобразования арабской речи в текст. Результаты модели представлены в транслитерации Buckwalter, где арабские буквы кодируются символами ASCII; для получения арабского письма требуется обратная транслитерация. В карточке указаны WER 23,39% на валидации Common Voice и тестовый результат 26,55%. Модель можно применять для расшифровки арабских записей и речи, однако точность зависит от данных и условий записи. Лицензия — Apache-2.0.

Модель lighteternal/wav2vec2-large-xlsr-53-greek — акустическая модель распознавания греческой речи, созданная Hellenic Army Academy и Technical University of Crete на основе XLSR-Wav2Vec2. Архитектура Wav2Vec2ForCTC содержит 402,7 млн параметров; модель дообучена в течение 50 эпох на данных Common Voice и CSS10 для греческого языка. Модель преобразует аудиозаписи на греческом языке в текст и подходит для транскрибации речи. В README для тестовой выборки Common Voice указаны WER 10,50% и CER 2,88%; для инференса рекомендуется аудио с частотой дискретизации 16 кГц. Модель распространяется по лицензии Apache-2.0. Показатели оценки относятся к указанному тестовому набору; качество на других данных может отличаться.

Модель dianavdavidson/wav2vec2-large-xlsr-53-iv_hindi_vaani-62420-hinglish_mixed_scripts-alldata-1e-4-100-mix-0.3-FT — дообученная Dianavdavidson версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи. Она построена на архитектуре Wav2Vec2ForCTC, содержит 402,8 млн параметров и принимает аудио, выдавая распознанный текст. По названию модели она ориентирована на хинди и хинглиш со смешанными письменностями; оценка на тестовом наборе указана как Global WER 29,1776 и loss 0,7903. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

Wav2Vec2-Large-XLSR-53-Slovene — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на словенской части Common Voice. Она принимает аудиозаписи речи с частотой дискретизации 16 кГц и преобразует их в текст на словенском языке. Архитектура — Wav2Vec2ForCTC; размер модели составляет около 402,7 млн параметров. Модель подходит для расшифровки словенской речи и оценки систем распознавания на тестовых данных Common Voice. В README приведён результат тестирования 36,97 %, но не уточнена метрика, поэтому значение нельзя интерпретировать как конкретную точность. Модель распространяется по лицензии Apache-2.0.

manandey/wav2vec2-large-xlsr-tamil — акустическая модель распознавания тамильской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной частях Common Voice. Она использует архитектуру Wav2Vec2ForCTC, содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Модель выдаёт распознанный текст на тамильском языке; её можно применять напрямую без языковой модели. Подходит для преобразования тамильской речи в текст, в том числе записей, подобных материалам Common Voice. В README приведён результат оценки 56,44%, однако метрика не уточнена, поэтому результат нельзя напрямую интерпретировать как точность распознавания. Модель распространяется по лицензии Apache-2.0.

CuongLD разработал wav2vec2-large-xlsr-vietnamese — модель распознавания вьетнамской речи, дообученную на базе facebook/wav2vec2-large-xlsr-53. Это акустическая модель Wav2Vec2 с выходной CTC-головой; размер модели составляет 402,7 млн параметров. Модель преобразует аудиозаписи речи в текст и подходит, например, для расшифровки голосовых сообщений и записей. В обучении использовались Common Voice и Infore_25h; для входного аудио требуется частота дискретизации 16 кГц. В карточке приведён результат оценки 58,63% на тестовых данных Common Voice, но метрика не уточнена. Модель рассчитана на вьетнамский язык. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Модель anuragshas/wav2vec2-xls-r-300m-sk-cv8-with-lm — акустическая модель распознавания речи на базе facebook/wav2vec2-xls-r-300m, дообученная на словацкой части Mozilla Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров; входом служит аудио, а результатом — текстовая расшифровка речи на словацком языке. Модель предназначена для автоматического распознавания словацкой речи. В карточке приведены результаты на тестовой выборке Common Voice 8: WER 26,707 без языковой модели и 18,609 при оценке с языковой моделью. Репозиторий включает веса PyTorch, лицензия — Apache-2.0. Ограничения и дополнительные сценарии применения в карточке не описаны.

WAXAL-lug-ful-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0. Она принимает аудио и выдаёт текстовую расшифровку; архитектура Wav2Vec2-BERT с CTC-выходом содержит около 402,7 млн параметров. Модель предназначена для распознавания речи на языках Luganda и Fulfulde, однако README не описывает условия записи или конкретные сценарии применения. На оценочном наборе указаны Loss 0,4411 и CER 0,0793. Модель распространяется в формате Safetensors через Transformers по лицензии MIT. В карточке не приведены сведения о составе и источнике обучающих данных; название датасета в README не заполнено.

ElizabethMwangi/whisper-large-v3-swahili-nss-afrivoice-cv — модель распознавания речи на суахили, разработанная как второй этап дообучения Whisper large-v3. Она адаптирована к нестандартной речи кенийских говорящих на наборе Kenyan Swahili Nonstandard Speech; предыдущий этап обучался на данных AfriVoice из пяти областей и Common Voice Swahili. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и сохраняется в формате safetensors. Модель предназначена для транскрибации кенийской речи на суахили, в том числе речи с выраженными нестандартными особенностями. На тестовой выборке Kenyan Swahili Nonstandard Speech авторы сообщают WER 0,328 и CER 0,158; WER составил 0,21 для лёгкой, 0,25 для умеренной и 0,34 для тяжёлой степени нестандартности. Лицензия — Apache-2.0.

Это модель автоматического распознавания речи на телугу, созданная Liodon AI путём дообучения openai/whisper-large-v3. Она преобразует аудиозаписи на телугу в текст и подходит для транскрибации записей и речевых данных на этом языке. Модель основана на архитектуре Whisper large-v3 и обучена на примерно 119 тысячах аудиопримеров из датасетов Kathbath, IndicVoices-R и FLEURS. В карточке приведены промежуточные значения WER на валидационной части Kathbath: от 48,79% на шаге 0,10 до 40,78% на шаге 0,30; это указывает на ограничения качества данного чекпойнта. Указан epoch 1 checkpoint, а дальнейшее обучение продолжается. Лицензия — Apache-2.0.

whisper-large-v3-turbo-quantized.w8a8 — квантованная версия модели whisper-large-v3-turbo, разработанной OpenAI; квантование выполнила Neural Magic. Модель принимает аудио и генерирует текст, предназначена прежде всего для автоматического распознавания речи и эффективного инференса через vLLM. Она основана на архитектуре Whisper и совместима с библиотекой Transformers и vLLM версии 0.5.2 и выше. Модель использует INT8-квантование весов и активаций (формат W8A8), что может снизить требования к памяти и повысить эффективность развертывания по сравнению с полноразмерной версией. В README указана поддержка английского языка; размер модели, максимальная длина контекста и полный набор поддерживаемых языков не приведены. Для сервинга доступны интерфейсы vLLM, включая OpenAI-совместимый режим. К ограничениям относятся возможное снижение точности из-за квантования и отсутствие в предоставленных данных подробных результатов оценки качества: раздел Evaluation не содержит завершённой информации. Модель распространяется по лицензии Apache-2.0.

re-skill/whisper-large-v3-turbo-tj — дообученная модель семейства Whisper, созданная на основе openai/whisper-large-v3-turbo и обученная на наборе FLEURS. Она предназначена для автоматического распознавания речи и преобразования аудио в текст, с акцентом на таджикский язык. Модель содержит около 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; для работы с ней указана библиотека Transformers. В карточке приведён результат оценки на тестовом наборе: WER 16,4316 и loss 0,2667. Использование модели распространяется по лицензии MIT. Карточка не описывает подробные ограничения и сценарии применения, поэтому качество на других данных и в реальных условиях может отличаться от указанной оценки.

poppysmickarlili/whisper-small-cantonese_07-05-2024-2200 — дообученная модель автоматического распознавания речи на базе Whisper Small, разработанная poppysmickarlili. Она обучена на наборе Common Voice 17.0 и предназначена для преобразования кантонской речи в текст. Архитектура — WhisperForConditionalGeneration с 153,1 млн параметров; модель принимает аудио и выдаёт текст. Репозиторий содержит веса в формате safetensors. На оценочной выборке указаны loss 0,3536 и WER 57,3413, что свидетельствует о заметных ошибках распознавания и требует проверки на целевых аудиоданных перед применением. Модель распространяется по лицензии Apache-2.0.

ranjan-prabhat/whisper-small-hi — дообученная модель распознавания речи на хинди, созданная на основе Whisper small от OpenAI. Это encoder-decoder Transformer с 153,1 млн параметров; модель принимает аудио и преобразует речь в текст. Обучение проводилось на хинди-разделе Common Voice 17.0. Модель предназначена для черновой расшифровки чёткой речи одного говорящего: например, голосовых заметок, начитки и повествования. Её также можно использовать как основу для дальнейшего дообучения под конкретный акцент, диалект или акустические условия. Проверялась на монофоническом аудио с частотой 16 кГц. На тестовой части Common Voice указана доля ошибок слов около 32%, поэтому для ответственных задач потребуется проверка человеком или дополнительное дообучение. Качество может снижаться на спонтанной речи, сильном шуме, одновременной речи нескольких людей и недостаточно представленных региональных акцентах. Модель распространяется по лицензии Apache-2.0.

seanghay/whisper-small-khmer-v2 — модель распознавания речи, созданная дообучением openai/whisper-small на датасетах OpenSLR (SLR42), Google FLEURS и km-speech-corpus. Она предназначена для транскрибирования аудио на кхмерском языке; в Transformers её используют для преобразования аудиозаписей в текст. Модель содержит 153,1 млн параметров, построена на архитектуре Whisper и распространяется в форматах PyTorch, Flax и Safetensors. В README указаны результаты на оценочном наборе: loss 0,26 и WER 0,6165. WER указывает на заметную долю ошибок распознавания, поэтому результат следует проверять, особенно для шумных записей и сценариев с высокими требованиями к точности. Лицензия — Apache-2.0.

Viraj008/whisper-small-mr_v4 — дообученная модель распознавания речи на базе Viraj008/whisper-small-mr_v3, разработанная Viraj Patil. Модель семейства Whisper содержит 153,1 млн параметров и предназначена для преобразования аудио в текст на маратхи. В метаданных указана архитектура WhisperForConditionalGeneration и формат safetensors; дообучение выполнено на Common Voice 17.0. На оценочном наборе указаны loss 0,2132 и WER 34,4975. Модель распространяется по лицензии Apache-2.0. Она предназначена для автоматического распознавания речи; сведений о контекстных ограничениях и других сценариях применения в карточке нет.

qa2code/whisper-small-vi-finetuned — дообученная qa2code модель автоматического распознавания вьетнамской речи на базе openai/whisper-small. Это encoder-decoder архитектура Whisper с 153,1 млн параметров, рассчитанная на обработку аудио и выдачу транскрипции на вьетнамском языке. Модель обучалась на 17 169 аудиозаписях из набора natmin322/18k_vietnamese_voice_augmented_of_VigBigData; в тесте на отложенной выборке этого корпуса она показала WER 31,74% и CER 19,43%, улучшив результаты исходной модели на той же выборке. Модель подходит для транскрибирования вьетнамской речи, особенно аудио, близкого по стилю к обучающему корпусу. Текст выдаётся строчными буквами, без знаков препинания; числа записываются словами. Для публикации или дальнейшего использования текста может понадобиться восстановление регистра и пунктуации. Качество проверялось только на выборке того же корпуса, поэтому для спонтанной речи, региональных акцентов, телефонного аудио и шумных записей оно может быть заметно ниже. Обучение остановили на 3 000 шагах до выхода кривой потерь на плато; модель также наследует склонность Whisper к галлюцинациям на тишине и неречевых звуках, поэтому перед распознаванием рекомендуется обнаружение речевой активности. Лицензия — Apache-2.0.

Whisper Medium (Thai): Combined V3 — модель распознавания речи на тайском языке, разработанная Biodatlab на основе дообучения openai/whisper-medium. Она преобразует тайскую речь в текст и предназначена для автоматической транскрибации; в обучении использовались расширенные версии Common Voice 13.0 для тайского, Google FLEURS и подготовленные авторами наборы данных. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров. В README указана оценка WER 7,42 на тестовой части Common Voice 13 при использовании токенизатора Deepcut. Модель распространяется под лицензией Apache-2.0. Подробности об ограничениях и составе подготовленных авторами данных в карточке не раскрыты.

Whisper Tiny South Indic — модель распознавания речи, созданная Bharat Ramanathan путём дообучения openai/whisper-tiny. Она предназначена для преобразования аудио в текст; в метаданных указана задача automatic-speech-recognition, а среди языковых тегов — тамильский, телугу, малаялам и каннада. Модель использует архитектуру WhisperForConditionalGeneration, содержит 29,4 млн параметров и опубликована в формате PyTorch. В README приведён результат оценки: WER 70,0806 на тестовом наборе; состав набора не описан, поэтому результат нельзя уверенно переносить на другие данные. Модель распространяется по лицензии Apache-2.0.

nezamisafa/whisper-v3-turbo-persian-v1.0 — дообученная nezamisafa модель распознавания речи на основе openai/whisper-large-v3-turbo. Она преобразует аудио в текст и ориентирована на распознавание персидской речи. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и формат safetensors; для запуска доступна библиотека Transformers. Базовая мультиязычная модель также поддерживает перевод аудио в текст. Модель дообучена на Common Voice 17.0; в метаданных указан набор nezamisafa/ASR_fa_v1. В README приведены результаты на оценочной выборке: loss 0,3078 и WER 29,9382. Лицензия — MIT. Показатель WER указывает на заметные ошибки распознавания; карточка не уточняет условия оценки и не описывает дополнительные сценарии применения.

Wolof-HuBERT-CTC — модель распознавания речи, созданная Soynade Research путём дообучения soynade-research/Wolof-HuBERT-Base. Это HuBERT-модель с архитектурой CTC, содержащая 113,3 млн параметров и предназначенная для преобразования аудио на волоф в текст. Для оценки на сложном наборе данных в карточке указаны loss 0,4031 и WER 0,3565; авторы сообщают, что модель превосходит модели HuBERT от Meta и Orange. Модель подходит для транскрибирования записей и аудиопотоков на волоф. Для работы предлагается библиотека Transformers; веса представлены в формате safetensors. Лицензия — AGPL-3.0.

Модель vasilis/xls-r-et-V-3 — дообученная версия facebook/wav2vec2-xls-r-1b для автоматического распознавания эстонской речи. Она использует архитектуру Wav2Vec2ForCTC и обучалась на эстонской части набора Mozilla Common Voice 8.0. Модель принимает аудио и выдаёт распознанный текст. В карточке указаны результаты оценки на тестовом наборе: значение функции потерь 0,8824 и WER 0,5246. Модель опубликована в формате PyTorch по лицензии Apache-2.0.

Edge0/Audio8-ASR-0.1B-iOS-ANE — пакет модели распознавания речи Audio8-ASR-0.1B, подготовленный для локальной работы на iPhone. Он предназначен для преобразования речи в текст в iOS-приложениях и включает Swift SDK, демонстрационное приложение и готовые файлы модели. Размер базовой модели в идентификаторе указан как 0,1 млрд параметров; в метаданных размер не приведён. Аудиобашня выполняется через Core ML на Apple Neural Engine, а декодер языковой модели — через ONNX Runtime на CPU с весами int4. Пакет поддерживает английский, китайский, кантонский, французский, немецкий, японский и корейский языки. Обработка аудио выполняется локально и не требует сетевого запроса. Для Swift-пакета требуются iOS 18 или macOS 15; README рекомендует Apple Silicon Mac для разработки. Модель ориентирована на компактное офлайн-распознавание на устройстве; заявленная демонстрационная нагрузка памяти составляет около 200 МБ и зависит от устройства и условий измерения. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

SayedShaun/bangla-wav2vec2 — модель автоматического распознавания речи на основе Wav2Vec2 с CTC-головой. По карточке, веса и конфигурацию загрузил пользователь SayedShaun, но они были обучены не им: чекпойнт зеркалирует модель из датасета wv-shru-v3-s6, опубликованного пользователем Kaggle qdv206. Модель предназначена для преобразования речи на бенгальском языке в текст на письме бенгали. Она ожидает монофоническое аудио с частотой дискретизации 16 кГц и использует посимвольный CTC-словарь из 90 токенов, включающий символы бенгальского письма, цифры и базовую пунктуацию. Размер модели — около 402,7 млн параметров. Карточка описывает совместимость с Transformers через стандартные классы Wav2Vec2ForCTC и AutoModelForCTC. Лицензия в метаданных обозначена как unknown; при использовании автор просит указывать первоначального создателя и ссылаться на исходный датасет.

SayedShaun/bengali-whisper-medium — модель распознавания бенгальской речи с восстановлением пунктуации, созданная на базе Whisper medium. По README, исходную модель обучил tugstugi (Erdene-Ochir Tuguldur) из команды Chimege; этот репозиторий содержит упаковку весов в safetensors и исправленную конфигурацию генерации. Модель насчитывает 455,8 млн параметров и работает через Transformers. Модель принимает аудио на бенгальском языке и генерирует текстовую расшифровку с пунктуацией; она участвовала в решении, занявшем первое место в соревновании Bengali.AI Speech Recognition. Для более широкого восстановления пунктуации автор рекомендует отдельную модель asr-punctuation-restore-bn. Модель распространяется по лицензии Apache-2.0. Она предназначена только для бенгальской речи; на тишине и шуме может выдавать правдоподобный вымышленный текст. README также отмечает ограниченный набор пунктуации и разницу качества между публичной и закрытой выборками соревнования.

Breeze-ASR-25-gguf — это набор GGUF-конвертаций модели Breeze-ASR-25, разработанной MediaTek Research и адаптированной для работы с transcribe.cpp. В основе лежит Whisper large-v2: encoder-decoder Transformer с обработкой аудио окнами по 30 секунд и чанковой расшифровкой длинных записей. Модель предназначена для автоматического распознавания речи, перевода, определения языка и получения сегментных временных меток. Модель оптимизирована для тайваньского мандаринского диалекта и английского языка, включая переключение между мандаринским и английским внутри одного предложения и между предложениями. Она выводит традиционный китайский и сохраняет токенизатор Whisper для 99 языков, однако остальные языки не оптимизировались и не проходили заявленную валидацию. Обучение проводилось примерно на 11 749 часах данных: синтетической китайской речи, английских записях Common Voice и реальных примерах китайско-английского переключения. Потоковый режим не поддерживается. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 3,11 ГБ. На заявленных тестах показатели составляют 2,25–2,29% WER на LibriSpeech test-clean и 8,08–8,12% CER на китайском тесте FLEURS после приведения традиционного письма к упрощённому. Ключевые ограничения — специализация прежде всего на мандаринском и английском, отсутствие потоковой обработки и зависимость от transcribe.cpp. Модель распространяется по лицензии Apache-2.0.

Caspi-1.7B — модель распознавания речи, созданная OzLabs путём дообучения Qwen/Qwen3-ASR-1.7B на парах ивритской речи и транскрипций. Она предназначена прежде всего для транскрибации разговорного, краудсорсингового и вещательного аудио на иврите, пакетной и потоковой обработки, а также для оценки и разработки систем распознавания речи. Модель относится к семейству Qwen3-ASR и принимает аудио, выдавая текстовую транскрипцию; поддерживаются пакетный и потоковый режимы, а также работа с речью, пением и песнями с фоновой музыкой. Основной язык — иврит; базовая модель многоязычная, однако Caspi позиционируется как специализированный ивритский чекпойнт, а не как универсальный многоязычный релиз. В приведённых тестах результаты различаются по наборам данных: модель превосходит сравниваемый Whisper-чекпойнт на части разговорных тестов, но уступает на вещательном наборе. Известные ограничения включают ошибки на коротких фонетически похожих словах, шумной или сжатой записи, перекрывающейся речи, акцентах, неформальной речи, именах и жаргоне, а также при переключении языков. Качество зависит от записи, сегментации и соответствия предметной области обучающим данным. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

DiariZen — модель для диаризации речи, представленная командой BUT для задания MLC-SLM Challenge. Компонент EEND построен на WavLM-Large и слоях Conformer. Модель предварительно обучена на одноканальных записях речи с дальнего расстояния из нескольких публичных наборов данных, затем разрежена структурным прореживанием до 80% и дообучена на данных MLC-SLM. Модель предназначена для анализа аудиозаписей встреч и определения активности речи и говорящих. В README приведены результаты оценки DER на американском, австралийском и британском вариантах английского, где DiariZen показала меньшую ошибку, чем базовая система Pyannote. Репозиторий содержит веса PyTorch; лицензия CC BY-NC 4.0 разрешает использование только на некоммерческих условиях.