I.9Аудио и музыка

RuudVelo разработал модель автоматического распознавания речи на базе архитектуры wav2vec2. Это дообученная на Common Voice версия facebook/wav2vec2-xls-r-300m с 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает нидерландский язык. На тестовой выборке Common Voice указаны loss 0,3923 и WER 0,1748. Модель опубликована в формате PyTorch под лицензией Apache-2.0. В карточке нет подробных сведений о сценариях использования и ограничениях распознавания.

Pinwheel/wav2vec2-large-xls-r-300m-tr-colab — модель автоматического распознавания речи, размещённая пользователем или организацией Pinwheel на Hugging Face. Она предназначена для преобразования аудиозаписей в текст и может использоваться через библиотеку Transformers и класс AutoModelForCTC. По идентификатору модели вариант tr предназначен для турецкой речи, однако карточка модели не содержит подробного описания языка и набора данных. Модель основана на архитектуре wav2vec2 и содержит около 402,7 млн параметров. Она относится к семейству XLS-R и ориентирована на задачи speech-to-text. Сильной стороной является применение крупной предварительно обученной речевой модели для автоматического распознавания речи; точность зависит от качества аудио, акцента, предметной области и соответствия данных обучения реальным записям. Лицензия для этого конкретного репозитория в доступных данных не установлена.

Модель tanmoyio/wav2vec2-large-xlsr-bengali — дообученная Tanmoyio версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания бенгальской речи. Она преобразует аудиозаписи в текст и предназначена для расшифровки речи на бенгальском языке; в карточке описано обучение на наборе примерно из 196 тысяч высказываний и оценка на тестовых данных OpenSLR. Модель основана на архитектуре Wav2Vec2ForCTC и содержит 402,8 млн параметров. Для входного аудио требуется частота дискретизации 16 кГц. Репозиторий содержит веса PyTorch и распространяется по лицензии CC BY-SA 4.0.

Модель Wav2Vec2-Large-XLSR-Català разработана сообществом Softcatalà как дообученная версия facebook/wav2vec2-large-xlsr-53 для распознавания речи на каталанском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель преобразует входную речь в текст и предназначена для транскрибирования каталанской речи, в том числе записей из корпусов Common Voice и ParlamentParla. Для работы аудио следует подавать с частотой дискретизации 16 кГц; языковая модель для описанного сценария не обязательна. В README приведены значения WER 6,92% на тестовом разделении CV+ParlamentParla, 12,99% на Google Crowdsourced Corpus и 13,23% на аудиокниге «La llegenda de Sant Jordi». Авторы предупреждают, что разделение Common Voice 6.1 пересекается с обучающими и оценочными данными: оценка на тестовом наборе CV будет смещённой. Модель распространяется по лицензии Apache-2.0.

Wav2Vec2-Large-XLSR-53-Hindi-Marathi — модель распознавания речи, дообученная Tanmay Laud на базе facebook/wav2vec2-large-xlsr-53 на датасетах OpenSLR SLR64 для хинди и маратхи. Она преобразует аудиозаписи речи в текст и рассчитана на входной звук с частотой дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. В README приведены результаты WER 23,74% на тестовой выборке OpenSLR для хинди и маратхи и 44,08% на Common Voice Hindi; показатели относятся к указанным наборам и не гарантируют такую же точность на других данных. Модель распространяется по лицензии Apache-2.0.

m3hrdadfi/wav2vec2-large-xlsr-persian — модель распознавания персидской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice на персидском языке (фарси). Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; её можно запускать без отдельной языковой модели. Модель подходит для транскрибации персидской речи и оценки систем распознавания на тестовой части Common Voice. В карточке указан результат WER 32,20%; качество может отличаться на других наборах данных и условиях записи. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-53-Turkish — модель распознавания турецкой речи, созданная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудиозаписей в текст; входную речь следует подавать с частотой дискретизации 16 кГц. Модель содержит 402,7 млн параметров. На тестовой выборке Common Voice для турецкого языка указана доля ошибок слов WER 27,51%. Доступны веса в форматах PyTorch и Flax. Модель распространяется по лицензии Apache-2.0.

Это модель автоматического распознавания речи на бенгальском языке, созданная дообучением facebook/wav2vec2-xls-r-300m командой или автором arijitx на наборе OPENSLR_SLR53. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. В метаданных указано 402,8 млн параметров; модель доступна в формате PyTorch. Модель предназначена для транскрибации бенгальской речи. На тестовой выборке без языковой модели автор сообщает WER 0,217 и CER 0,047; с пятиграммовой языковой моделью, обученной на данных AI4Bharat IndicCorp, показатели составили WER 0,153 и CER 0,034. Для использования результата с языковой моделью потребуется соответствующая внешняя языковая модель. Модель распространяется по лицензии Apache-2.0. Оценка проведена на 5% из 10 935 примеров; README приводит неоднозначное описание разбиения, поэтому точную процедуру формирования тестовой выборки следует учитывать при сравнении результатов.

imvladikon дообучил wav2vec2-xls-r-300m от Facebook AI для распознавания речи на иврите. Модель использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров; она принимает аудио и преобразует речь в текст. Обучение проходило в два этапа на частных наборах данных: сначала на небольшом наборе с качественными примерами, затем на более крупном наборе с данными из разных источников и слабой разметкой. В README приведены результаты WER: 0,1697 на небольшом наборе и 0,2318 на большом после второго этапа обучения. Модель предназначена для автоматической транскрибации речи на иврите. Её можно применять для преобразования записей и аудиоматериалов в текст; приведённые метрики относятся к данным автора и не гарантируют такое же качество на других источниках и условиях записи. В карточке не приведены условия лицензии, поэтому их нельзя определить по доступным сведениям.

robinhad/wav2vec2-xls-r-300m-uk — модель распознавания украинской речи, созданная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в метаданных указан Common Voice как набор данных. Для оценки приведены WER 0,1222 и CER 0,0204. Модель предназначена для автоматической транскрипции украинской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Подробности о тренировочных данных, условиях записи и известных ограничениях в карточке не раскрыты.

Wav2Vec2 XLS-R 300M Cantonese (zh-HK) — модель автоматического распознавания речи, разработанная Wilson Wongso и дообученная на базе Wav2Vec2-XLS-R-300M на подмножестве Common Voice для кантонского языка Гонконга. Модель использует архитектуру XLS-R и класс Wav2Vec2ForCTC; в метаданных указано 406,4 млн параметров. Модель принимает аудио и преобразует речь на кантонском языке в текст. Она создана в рамках Robust Speech Challenge Event; для обучения использовались PyTorch и Common Voice. В README приведены результаты по CER: 31,73% на Common Voice и 23,11% и 23,02% на Common Voice 7 и 8 соответственно. Модель распространяется по лицензии Apache-2.0. Результаты могут наследовать смещения обучающих данных; качество на иных наборах данных и в других условиях записи может отличаться.

arbml/whisper-largev2-ar — дообученная модель распознавания речи на архитектуре Whisper large-v2, разработанная на основе openai/whisper-large-v2. Модель предназначена для преобразования аудио в текст; в карточке указана оценка WER 17,7875 на наборе оценки. Веса содержат около 905,2 млн параметров и опубликованы в формате PyTorch. Модель обучалась на наборе arbml/mgb2. В README не уточняются поддерживаемые диалекты, условия записи и сценарии применения, поэтому качество для конкретных типов аудио по имеющимся данным оценить нельзя. Указана лицензия Apache-2.0.

Whisper Large Punjabi — модель распознавания речи, созданная Drishti Sharma дообучением openai/whisper-large-v2 на наборе Common Voice 11.0. Она преобразует речь на панджаби в текст и подходит для транскрибирования записей и аудио с речью. Модель использует архитектуру Whisper Large v2, содержит около 905,2 млн параметров и распространяется в формате PyTorch. В карточке приведён результат оценки на тестовой выборке: WER 19,7125 и loss 0,2846. Модель ориентирована на панджаби; лицензия — Apache-2.0. README не описывает ограничения и условия оценки подробнее, поэтому результат может не отражать качество на иных аудиоданных.

Byne/whisper-large-v3-arabic — дообученная Byne версия мультиязычной модели Whisper large-v3 от OpenAI для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в формате Safetensors. Название указывает на специализацию на арабской речи. В README приведены результаты оценки: loss 0,1384 и WER 9,3775; описание набора данных, условий оценки и подробные сценарии использования не раскрыты. Модель распространяется по лицензии Apache-2.0.

Модель JacobLinCool — дообученная версия OpenAI Whisper Large V3 Turbo для автоматического распознавания речи на традиционном китайском языке, вариант Тайваня. Она принимает аудио и преобразует речь в текст без необходимости задавать подсказку. Модель содержит около 905,2 млн параметров и построена на архитектуре Whisper; для обучения использован набор Common Voice Corpus 19.0 Chinese (Taiwan), примерно 50 тысяч обучающих примеров общей длительностью 44 часа. На тестовом наборе указаны WER 32,56 и CER 8,60. Модель наследует мультиязычную систему определения языка Whisper, где варианты китайского используют общий токен `zh`, поэтому качество распознавания упрощённого китайского может снижаться. Лицензия — MIT.

kingabzpro/whisper-large-v3-turbo-urdu — модель распознавания речи, созданная дообучением Whisper large-v3-turbo на наборе Common Voice 17.0. Она принимает аудио и выдаёт текстовую расшифровку на урду; модель реализована на архитектуре Whisper и содержит около 905,2 млн параметров. Модель предназначена для транскрибации речи на урду, в том числе записей, подобных примерам из Common Voice. В README приведены результаты оценки на тестовой части Common Voice 17.0: WER около 26% и CER около 8,8%, поэтому в расшифровках возможны ошибки, особенно при отличающихся условиях записи или речи. Модель доступна под лицензией Apache-2.0 и рассчитана на использование через Transformers.

thennal/whisper-medium-ml — модель распознавания речи на малаялам, созданная дообучением OpenAI Whisper Medium на Common Voice 11.0. Она принимает аудио и генерирует текстовую расшифровку; архитектура Whisper содержит около 455,8 млн параметров. В README приведены результаты оценки: WER 38,62 и CER 7,33 без нормализации, а после нормализации WER составляет 11,49. Автор отмечает, что нормализация Whisper имеет существенные проблемы для малаялама, поэтому метрики зависят от способа обработки текста. Модель распространяется по лицензии Apache-2.0.

Whisper Small Bengali — модель распознавания речи, дообученная автором anuragshas на базе openai/whisper-small на бенгальской части набора Mozilla Common Voice 11.0. Она принимает аудио и преобразует речь на бенгальском языке в текст; архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров. На указанном в карточке оценочном наборе модель показала WER 18,22 и loss 0,1638. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0.

Jingmiao/whisper-small-chinese_base — дообученная модель распознавания речи на архитектуре Whisper Small, разработанная на основе openai/whisper-small. Она предназначена для преобразования китайской речи в текст; обучение проводилось на китайской части набора google/fleurs (cmn_hans_cn). Модель содержит 153,1 млн параметров и опубликована в формате PyTorch. На указанном в карточке наборе для оценки модель достигла значения WER 16,6439 и loss 0,3573. Лицензия Apache-2.0.

CLEAR Global совместно с Makerere University Centre for Artificial Intelligence and Data Science дообучили мультиязычную модель распознавания речи Whisper Small на одобренной части набора TWB Voice 1.0 для хауса. Модель содержит 153,1 млн параметров, принимает аудио и выдаёт текстовую транскрипцию; в метаданных указана библиотека Transformers и формат весов safetensors. Модель предназначена для транскрибирования речи на хауса. На внутренней тестовой выборке TWB Voice 1.0 указаны WER 2,23% и CER 3,11%; тестовые дикторы не пересекались с обучающей и валидационной выборками. Также проводилась оценка на Common Voice v17 и Naija Voices, но её результаты не приведены. Модель распространяется по лицензии CC BY-SA 4.0.

arun100/whisper-small-derived-hi-1 — дообученная модель Whisper Small, созданная на основе vasista22/whisper-hindi-small. Она предназначена для автоматического распознавания речи на хинди и преобразования аудио в текст. Модель содержит 153,1 млн параметров; в карточке указана оценка WER 10,1104 на наборе оценки Common Voice 16.0 для хинди. Модель принимает аудио и выдаёт текст. Она опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не сообщает подробностей об условиях записи речи, шумоустойчивости или ограничениях применения.

RedHatAI/whisper-small-quantized.w8a8 — квантизированная версия модели openai/whisper-small, разработанная Neural Magic. Это аудио-текстовая модель автоматического распознавания речи: она принимает аудиосигнал и генерирует текстовую расшифровку. Модель предназначена для транскрибации аудиозаписей и развёртывания в приложениях, где важны эффективное выполнение инференса и совместимость с vLLM. Модель использует архитектуру Whisper small и поддерживает обработку аудио с выдачей текста. Указан язык en; другие языки в предоставленных данных не заявлены. Веса и активации квантизированы в INT8 по схеме W8A8, что может снизить требования к памяти и повысить эффективность инференса по сравнению с полноточной версией, но потенциально сопровождается потерей точности. Модель подготовлена для работы с vLLM версии 0.5.2 и новее, включая OpenAI-compatible serving. В README не приведены численные результаты оценки качества, ограничения по длине аудио или подробные характеристики исходной архитектуры. Модель распространяется по лицензии Apache-2.0. Для её использования требуется инфраструктура, совместимая с Transformers и vLLM; конкретные параметры производительности зависят от оборудования и настроек развёртывания.

wcyat/whisper-small-yue — дообученная модель семейства Whisper для автоматического распознавания речи. Модель содержит 153,1 млн параметров и принимает аудио, выдавая распознанный текст. В README указана оценка WER 56,8538 на наборе для проверки; название обучающего набора обозначено как None. Подробности об обучающих данных и предполагаемых сценариях применения не приведены.

vasista22/whisper-tamil-small — модель распознавания речи, созданная дообучением openai/whisper-small на тамильских корпусах речи в рамках Whisper fine-tuning sprint. Она принимает аудио и преобразует речь в текст, в первую очередь для автоматической транскрибации на тамильском языке. Модель основана на архитектуре Whisper и содержит 153,1 млн параметров. Для обучения использовались IISc-MILE Tamil ASR Corpus, ULCA ASR Corpus, Shrutilipi ASR Corpus, Microsoft Speech Corpus для индийских языков, Google Fleurs и Babel ASR Corpus; оценка проводилась на тестовых наборах этих источников. Доступны веса PyTorch и Flax. Модель подходит для транскрибации тамильской речи в прикладных системах и для оценки качества распознавания на тамильских аудиоданных. Лицензия — Apache-2.0. Карточка не приводит численных результатов качества, поэтому производительность на конкретных записях может отличаться.

cahya/whisper-tiny-id — модель распознавания речи на базе Whisper Tiny, дообученная на индонезийском языке разработчиком Cahya. Она преобразует входящее аудио в текст и предназначена для автоматической транскрипции речи. Модель содержит 29,4 млн параметров; в карточке указаны датасеты Common Voice 11.0, MagicData, TITML и Google FLEURS. Для оценки приведён WER 18,2837 и loss 0,2409. Модель рассчитана на индонезийскую речь. Доступна в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные сценарии использования или ограничения.

sulaimank/xls-r-300m-luganda-313hr — модель распознавания речи, дообученная на основе facebook/wav2vec2-xls-r-300m. По названию репозитория она предназначена для распознавания речи на луганда; «313hr» указывает на заявленный объём обучения в 313 часов, а CV-Fleurs — на связь с корпусами Common Voice и Fleurs. В README приведены результаты оценки: WER 0,2549 и CER 0,0587. Модель принимает аудио и выдаёт распознанный текст. Она распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README не раскрывает подробности обучающих данных, языкового охвата и условий записи, поэтому результаты оценки не следует считать гарантией качества на иных источниках аудио.

Модель hf-test/xls-r-300m-sv-cv8 — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на шведском языке (sv-SE). Она основана на архитектуре wav2vec 2.0 с CTC-декодированием и содержит около 402,7 млн параметров. Модель обучена на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0; для оценки приведены показатели WER 0,2465 и CER 0,0717 без языковой модели, а с языковой моделью — WER 0,1710 и CER 0,0569. Модель предназначена для преобразования шведской речи в текст, например для расшифровки записей и голосовых сообщений. Репозиторий содержит веса PyTorch, а лицензия — Apache-2.0. Карточка не описывает отдельные ограничения качества или условия работы языковой модели; приведённые метрики относятся к оценочному набору Common Voice 8.0.

Zehнова STT — Jonibek21 разработала модель автоматического распознавания речи на узбекском языке. Это дообученная с помощью LoRA модель Whisper Medium на базе Kotib/uzbek_stt_v1, предназначенная для преобразования узбекской речи в текст латинским письмом. Модель принимает аудио и выдаёт текст. По данным README, она обучалась на специальном узбекском аудиодатасете из 9 214 обучающих и 1 024 тестовых примеров. Заявленный WER составляет около 11–13% в целом, 6–11% для чистой речи и 9–16% для шумной или аугментированной речи; автор сообщает об улучшении примерно на 5% относительно базовой модели. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. Модель рассчитана на распознавание узбекской речи. Качество может снижаться при шуме, а аудио длиннее 30 секунд обрабатывается по частям.

smerchi/Arabic-Morocco-Speech_To_Text — дообученная модель распознавания речи на основе Whisper large-v3 от OpenAI. Она предназначена для преобразования аудио на арабском языке в текст; в карточке указан датасет Voice_Cleverlytics. Модель содержит 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса представлены в формате Safetensors. Для запуска предусмотрена библиотека Transformers. Модель подходит для транскрибации речи на арабском языке, в частности марокканского варианта, о котором говорит название репозитория. Базовая Whisper large-v3 поддерживает многоязычное распознавание речи и перевод аудио в текст, однако карточка этой производной модели не приводит отдельные оценки качества или подробности обучения. Лицензия — Apache-2.0.

ASR-Somali — модель распознавания речи на основе архитектуры Wav2Vec2ForCTC с 402,7 млн параметров. Она создана дообучением facebook/wav2vec2-large-xlsr-53 и предназначена для преобразования сомалийской речи в текст. В карточке приведены результаты оценки: потеря 0,3660 и WER 0,3060. Модель принимает аудио и выдаёт текст; репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Подробности о данных обучения и ограничениях в карточке не раскрыты.