I.9Аудио и музыка

jimregan/wav2vec2-large-xlsr-latvian-cv — модель автоматического распознавания латышской речи, созданная Джимом Риганом дообучением facebook/wav2vec2-large-xlsr-53 на латышской части набора Common Voice. Она предназначена для преобразования аудиозаписей речи в текст, например для расшифровки записей и оценки распознавания на тестовых данных Common Voice. Модель использует архитектуру wav2vec 2.0 с головой Wav2Vec2ForCTC и содержит 402,7 млн параметров. Для входной речи требуется частота дискретизации 16 кГц; веса представлены в форматах PyTorch, Flax и safetensors. Модель рассчитана на латышский язык, принимает аудио и выдаёт текст. В README приведён результат оценки 29,95% на тестовых данных Common Voice, но метрика не уточнена, поэтому это число нельзя напрямую трактовать как точность или ошибку распознавания. Лицензия модели — Apache-2.0.

Модель sumedh/wav2vec2-large-xlsr-marathi разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для автоматического распознавания речи на маратхи. Она использует архитектуру Wav2Vec2ForCTC, содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц, выдавая распознанный текст. Модель обучена на наборе OpenSLR64, где представлены только женские голоса, и показала WER 12,70% на тестовой части данных; автор сообщает, что она также хорошо работает с мужскими голосами. Подходит для транскрибирования речи на маратхи и создания текстовых расшифровок аудиозаписей. Лицензия — Apache-2.0. Результаты оценки получены на части OpenSLR64, поэтому точность на других записях и условиях может отличаться.

anuragshas выпустил модель автоматического распознавания речи на хинди, дообученную на базе facebook/wav2vec2-xls-r-1b на наборе Mozilla Common Voice 8.0 для хинди. Модель использует архитектуру Wav2Vec2 с CTC-декодированием; в репозитории указано 1,3 млрд параметров и веса PyTorch. Для декодирования предусмотрен языковой модельный компонент: в оценке на тестовой части Common Voice 8 WER составил 15,899 с LM и 26,209 без LM. Модель подходит для транскрибирования записей речи на хинди, в том числе голосовых образцов, близких к данным Common Voice. В README также приведён результат WER 0,3547 на оценочном наборе без уточнения условий, поэтому показатели могут различаться в зависимости от декодирования и настройки оценки. Лицензия — Apache-2.0.

Модель vitouphy/wav2vec2-xls-r-300m-japanese — дообученная на Common Voice 8.0 японская система автоматического распознавания речи, созданная на основе facebook/wav2vec2-xls-r-300m. Она преобразует аудио в японский текст, выводя его в хирагане. Для подготовки текста и токенизации автор преобразовал кандзи и катакану в хирагану с помощью pykakasi и использовал fugashi. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В README приведены результаты оценки на Common Voice и speech-recognition-community-v2, включая CER и WER; применение языковой модели улучшает указанные метрики. Модель подходит для транскрибирования японской речи, когда требуется запись хираганой. Лицензия — Apache-2.0.

Модель Wav2Vec2-Large-XLSR-53-Tamil разработана Anurag Shas и дообучена на базе facebook/wav2vec2-large-xlsr-53 для автоматического распознавания тамильской речи. Она принимает аудио и преобразует его в текст; для входной речи требуется частота дискретизации 16 кГц. Обучение проводилось на обучающей и валидационной частях Common Voice, а для тестовой выборки Common Voice на тамильском языке указана оценка 71,87%. Модель построена на архитектуре Wav2Vec2ForCTC и насчитывает около 402,7 млн параметров. Доступны варианты весов PyTorch и Flax. Лицензия — Apache-2.0. Оценка относится к указанной тестовой выборке; README не сообщает метрику и условия, позволяющие переносить её на другие наборы данных или реальные сценарии.

Модель asr-africa/wav2vec2-xls-r-akan-50-hours — дообученная на распознавании речи версия wav2vec2-xls-r-300m, разработанная автором репозитория asr-africa. Она предназначена для автоматического преобразования речи на языке акан в текст. Модель содержит около 402,7 млн параметров, использует архитектуру Wav2Vec2ForCTC и принимает аудио; библиотека для работы — Transformers. На оценочной выборке указаны WER 0,3065 и CER 0,0949. Датасет обучения не раскрыт, поэтому результаты нельзя уверенно переносить на другие условия записи и варианты речи. Лицензия — Apache-2.0.

mmwanje/waxal-whisper-small-spec_aug_v1 — мультиязычная модель автоматического распознавания речи, дообученная на базе OpenAI Whisper Small на данных Google WaxalNLP для языков лингала, шона и луганда. При обучении применялся SpecAugment к log-mel признакам; модель реализована как WhisperForConditionalGeneration и распространяется в формате safetensors. В метаданных указано 153,1 млн параметров и лицензия Apache-2.0. Модель предназначена для транскрибирования аудиозаписей на поддерживаемых языках. README называет этот чекпойнт лучшим по результату на отложенной выборке среди экспериментов первой фазы; приведённая оценка объединяет WER и CER, поэтому её нельзя напрямую интерпретировать как отдельную точность распознавания. Результаты зависят от языка и условий записи.

Shiry/whisper-large-v2-he — дообученная модель распознавания речи на основе OpenAI Whisper Large-v2. Она предназначена для преобразования аудиозаписей на иврите в текст. Модель содержит около 905,2 млн параметров и использует архитектуру Whisper; для дообучения применялся датасет google/fleurs, вариант he_il. В оценке на тестовой выборке указаны loss 0,5483 и WER 27. Модель принимает аудио и выдаёт текстовую транскрипцию. Репозиторий распространяется под лицензией Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения качества, поэтому результат следует оценивать на записях, похожих на целевые по условиям записи и речи.

bayartsogt/whisper-large-v2-mn-13 — дообученная модель семейства Whisper от OpenAI, созданная автором bayartsogt на базе openai/whisper-large-v2 для распознавания речи на монгольском языке. Это плотная модель архитектуры WhisperForConditionalGeneration с 905,2 млн параметров, принимающая аудио и преобразующая речь в текст. В метаданных указаны наборы Common Voice 11.0, FLEURS, ulaanbal-v0 и youtube-mongolian-v1; на оценочной выборке приведены WER 20,024 и CER 6,601. Модель подходит для транскрибирования монгольской речи, в том числе записей из открытых речевых корпусов и видео. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. README не описывает подробные ограничения и сценарии применения; качество на других данных может отличаться от результатов на указанной оценочной выборке.

Whisper large-v3, дообученная AiLab.lv для распознавания латышской речи. Модель преобразует аудио в текст и предназначена для транскрибации записей на латышском языке, включая голосовые записи и материалы вещательных СМИ. Дообучение выполнено с помощью Hugging Face Transformers на 282,4 часа данных из латышской части Common Voice 19.0 и набора LATE-Media. В репозитории указаны результаты оценки на тестовых данных: WER 4,8 на форматированном тесте Common Voice, 3,2 на нормализованном тесте Common Voice и 19,2 на тесте LATE-Media. Модель содержит около 905,2 млн параметров; карточка также описывает отдельные квантованные варианты в форматах для whisper.cpp и CTranslate2. Модель рассчитана прежде всего на латышскую речь; показатели на тесте LATE-Media указывают, что качество может заметно различаться между наборами данных. Лицензия — Apache-2.0.

thorhojhus/whisper-large-v3-turbo-danish — датская версия Whisper-large-v3-turbo, дообученная разработчиком на датской речи. Модель использует архитектуру Whisper и неизменённый токенизатор базовой модели; опубликованные веса представляют собой экспоненциальное скользящее среднее после 200 000 шагов обучения. Для обучения использовались датские данные CoRal v3, Common Voice 26.0, FLEURS, FTSpeech и NST, а также отфильтрованные псевдоразметки. Модель предназначена для автоматической транскрипции датской речи, включая разговорную и зачитанную речь. В оценке на публичном протоколе датского ASR-лидерборда показатель WER составил 20,05% на разговорных данных CoRal, 12,93% на зачитанных данных CoRal и 8,24% на Common Voice cv17_da. Для аудио длиннее 30 секунд оценивалось последовательное декодирование с временными метками, однако длинные записи непосредственно при обучении не использовались. Модель опубликована в формате safetensors для Transformers под лицензией MIT. Качество распознавания на языках, отличных от датского, может быть ниже; поведение на длинных записях следует проверять отдельно.

Это дообученная модель OpenAI Whisper Medium на базе архитектуры encoder-decoder Transformer с 455,8 млн параметров. Её разработали для распознавания разговорной речи на хинди и хинглише — речи со смешением хинди и английского — с помощью Transformers и PyTorch. Модель принимает аудио и выдаёт текстовую расшифровку. В описанной оценке на 373 примерах WER составил 0,0456, а CER — 0,0262; результаты приведены отдельно для хинди и хинглиша. Модель распространяется по лицензии Apache-2.0. Обучение проводилось преимущественно на синтетической речи. На шумных записях, при незнакомых акцентах и манере речи качество может снижаться; модель не оценивалась для потокового распознавания.

Dragneel/whisper-medium-nepali-openslr — модель распознавания речи на архитектуре Whisper Medium, созданная дообучением openai/whisper-medium на корпусе непальской речи OpenSLR 54. Она преобразует непальскую аудиозапись в текст и предназначена для расшифровки речи, например записей и речевых материалов на непальском языке. В метаданных указано 455,8 млн параметров; README сообщает примерно о 154 часах обучающих аудиоданных и WER 14,04%. Модель принимает аудио и выдаёт текст. Распространяется по лицензии Apache-2.0.

Whisper Medium Urdu — модель распознавания речи, дообученная на основе openai/whisper-medium командой, опубликовавшей репозиторий ihanif/whisper-medium-urdu. Она предназначена для преобразования речи на урду в текст и использует архитектуру Whisper с 455,8 млн параметров. Модель принимает аудио и выдаёт текст; обучение выполнено на урду-части набора Common Voice 11.0 от Mozilla Foundation. На оценочной выборке указаны значение потерь 0,4685 и WER 26,9801. Модель опубликована в форматах PyTorch и safetensors под лицензией Apache-2.0. Карточка не приводит дополнительных сведений об условиях записи, методике оценки или иных ограничениях, поэтому результаты могут не отражать качество на аудио из других источников.

Whisper Medium Vaani Telugu — дообученная командой ARTPARK-IISc модель распознавания речи на базе OpenAI Whisper Medium. Она предназначена для автоматической транскрибации речи на телугу в текст; в метаданных указан датасет ARTPARK-IISc/Vaani. Модель имеет архитектуру Whisper с 455,8 млн параметров и принимает аудио, выдавая текст. Поддерживаемый язык — телугу. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT.

Whisper Medium TW — дообученная Jasper881108 модель распознавания речи на основе openai/whisper-medium. Она предназначена для преобразования аудио на тайваньском китайском языке в текст. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Для обучения и оценки использовался корпус Common Voice 11.0: обучающая и валидационная части — для обучения, тестовая — для оценки. Модель распространяется в формате PyTorch по лицензии Apache-2.0. В карточке не приведены результаты оценки качества, поэтому точность распознавания для конкретных условий записи не установлена.

Whisper ASR for Kyrgyz Language — модель распознавания речи на кыргызском языке, опубликованная Национальной комиссией по государственному языку и языковой политике при Президенте Кыргызской Республики. Она основана на предварительно обученном Whisper и дообучена с адаптацией к фонетическим особенностям кыргызской речи. Модель принимает аудио и преобразует кыргызскую речь в текст. Её можно использовать для расшифровки записей и живой речи с микрофона; пример демонстрационного приложения построен на Transformers и Gradio. Архитектура — WhisperForConditionalGeneration, число параметров — около 153,1 млн.

Blgn94/whisper-small-mn — модель распознавания речи на монгольском языке, дообученная разработчиком Blgn94 на основе openai/whisper-small. Это модель семейства Whisper с архитектурой WhisperForConditionalGeneration; репозиторий содержит веса в форматах Safetensors и ONNX. Она принимает аудио и преобразует его в текст, например для транскрибирования записей на монгольском языке. Для проверки на отложенной части валидационной выборки указаны WER 22,1% и CER 10,3%. Для обучения использован датасет примерно из 60 часов аудио и 57 320 фрагментов: MBSpeech, Mozilla Common Voice 20 и Google FLEURS. Лицензия модели — CC-BY-4.0.

Adnan666/whisper-small-pashto-run11-epoch2 — дообученная версия Whisper Small для автоматического распознавания речи. Модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration; файлы представлены в формате safetensors. Она принимает аудио и выдаёт текстовую транскрипцию, с ориентацией на речь на пушту. В README приведён результат оценки на наборе данных: WER 50,2334 и Loss 1,0639. Датасет и подробности обучения не описаны, поэтому эти показатели сами по себе не дают полной картины качества на других данных. Лицензия — Apache-2.0.

Whisper Small Turkmen Language — модель распознавания речи на туркменском языке, созданная Abdyrahman Gudratullayew путём дообучения openai/whisper-small на наборе Common Voice 19. Это мультиязычная архитектура Whisper с 153,1 млн параметров; модель принимает аудио и выдаёт текстовую транскрипцию. На оценочном наборе указаны Loss 0,8752, WER Ortho 54,5959 и WER 46,1854. Эти показатели отражают заметную долю ошибок распознавания, поэтому транскрипции могут требовать проверки. Модель распространяется по лицензии Apache-2.0.

FutureProofGlitch/whisper-small-v2 — дообученная разработчиком FutureProofGlitch модель распознавания речи на базе Whisper Small. Она предназначена для преобразования англоязычной речи в текст; для оценки указаны результаты на тестовой выборке GigaSpeech: WER 16,4524 и нормализованный WER 28,4362. Модель содержит 153,1 млн параметров и распространяется в формате safetensors. Модель подходит для транскрибирования англоязычных записей и аудио, включая материалы из домена GigaSpeech. Лицензия — Apache-2.0. README не приводит дополнительных сведений о сценариях применения или ограничениях качества.

nagorebravo/whisper-tiny-en-minds14 — компактная модель распознавания речи на архитектуре Whisper, дообученная на openai/whisper-tiny разработчиком nagorebravo на датасете PolyAI/minds14. Она преобразует аудио в текст и предназначена для транскрибации речи, в том числе аудиозаписей из сценариев, представленных в этом датасете. На оценочном наборе указаны Loss 0,5909 и WER 0,3241 (WER Ortho 0,3288). Модель распространяется в формате safetensors по лицензии Apache-2.0.

abdouaziz/wolof_wlarge — модель автоматического распознавания речи из экосистемы Hugging Face Transformers, опубликованная пользователем abdouaziz. По названию модели предназначена для распознавания речи на языке Wolof, а тег whisper указывает на принадлежность к семейству моделей Whisper.

shpotes/xls-r-eus — модель автоматического распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-300m на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0 для баскского языка. Она построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель преобразует аудиозапись речи в текст и подходит для транскрибирования баскской речи, в том числе записей в стиле Common Voice. В README указаны результаты оценки на тестовой выборке: WER 0,1787 и loss 0,2278. Модель опубликована под лицензией Apache-2.0. Карточка не описывает специальные ограничения и условия записи, поэтому качество на других наборах данных и в иных акустических условиях по этим сведениям оценить нельзя.

AstralZander/yoruba_ASR — модель распознавания речи на основе Wav2Vec2ForCTC, созданная дообучением facebook/wav2vec2-xls-r-300m на данных OpenSLR SLR86 и Mozilla Common Voice 12.0 для языка йоруба. Модель содержит около 402,8 млн параметров и принимает аудио, выдавая текстовые транскрипции; пример использования через Hugging Face указывает также временные метки и вероятности для распознанных фрагментов. Модель предназначена для транскрибирования аудиозаписей на йоруба. В README приведён показатель WER 0,51. Репозиторий распространяется по лицензии Apache-2.0.

Samuael/asr-amharic-phoneme-based-233 — модель автоматического распознавания речи на основе архитектуры wav2vec2 с CTC-декодированием, дообученная разработчиком Samuael. Модель предназначена для преобразования амхарской речи в текст; название указывает на фонемное представление, однако подробности его реализации в карточке не описаны. В карточке приведены результаты оценки: WER 0,2679 и CER 0,0730 после примерно трёх эпох обучения. Число параметров — около 402,9 млн. Модель принимает аудио и выдаёт текст. Лицензия Apache-2.0 разрешает использование на её условиях.

Audar-ASR-V1-Flash — генеративная модель автоматического распознавания речи, разработанная AudarAI. Это облегчённая edge-версия семейства Audar-ASR-V1, ориентированная прежде всего на арабскую речь и работу в реальном времени на устройствах с ограниченными ресурсами. Модель преобразует аудио в текст с помощью аудиоэнкодера и языкового декодера, а не CTC или transducer-подхода. Модель содержит около 0,78 млрд параметров: 0,19 млрд в аудиоэнкодере и 0,60 млрд в декодере. Она принимает монофонический звук с частотой 16 кГц и обрабатывает контекст до 30 секунд, а более длинные записи поддерживает через разбиение на фрагменты или потоковую обработку. Заявлена поддержка 30 языков, включая литературный арабский, основные арабские диалекты, английский и ещё 28 языков; предусмотрено распознавание арабско-английского переключения кодов. Модель доступна через Transformers, GGUF/llama.cpp и vLLM, работает на CPU, GPU и edge-устройствах. К сильным сторонам относятся специализация на арабской речи, диалектах и код-свитчинге, поддержка потокового распознавания, относительно небольшой размер и возможность локального запуска. По данным README, модель обучалась на более чем 300 000 часах размеченного двуязычного аудио, прошла диалектно-ориентированное дообучение и KTO-выравнивание с участием носителей арабского языка; заявленный средний WER на Open Universal Arabic ASR Leaderboard составляет 32,0%. Ограничениями являются контекст 30 секунд и более низкая точность на наиболее сложной диалектной речи по сравнению с более крупной версией Audar-ASR-V1-Turbo. Модель распространяется по лицензии AudarAI Open License v1.0.

ChunkFormer-RNNT-Large-Vie — крупная модель автоматического распознавания речи на вьетнамском языке, основанная на архитектуре ChunkFormer и разработанная на базе реализации, представленной на ICASSP 2025. В README указано, что модель дообучена примерно на 5000 часах публичных вьетнамских аудиоданных из разных наборов. Число параметров составляет 113 млн; формат файлов — PyTorch. Модель предназначена для преобразования вьетнамской речи в текст, включая транскрибацию аудиозаписей и распознавание речи в приложениях. В README приведены результаты WER на Vivos, Common Voice и двух заданиях VLSP 2020; перед сравнением применялась нормализация текста. Модель доступна по лицензии CC BY 4.0. Для использования предлагается библиотека chunkformer.

Это CPU-ориентированная версия модели CohereLabs cohere-transcribe-arabic-07-2026, разработанная автором репозитория sayedM. В основе — Conformer encoder–decoder для распознавания речи с примерно 2,07 млрд параметров; все 515 линейных слоёв динамически квантованы до int8. Модель принимает аудио и выдаёт текстовую транскрипцию. В README указана лицензия Apache-2.0. Сборка предназначена для транскрибации арабской речи, включая диалектную, и английской речи на процессоре без GPU. Дополнительная арабская CTC-голова на 57,5 млн параметров предлагает черновые токены для спекулятивного декодирования: по замерам автора, это ускоряет короткие клипы примерно в 1,42 раза при небольшом изменении WER относительно fp32. Язык декодирования следует задавать явно как «ar» или «en». Ограничения: квантование int8 снижает точность относительно fp32; модель предназначена только для CPU и не работает на CUDA. CTC-голова рассчитана только на арабский язык, поддерживает спекулятивное декодирование лишь при batch size 1 и применима к одночастным аудиозаписям; качество её черновиков зависит от близости аудио к диалектному составу обучающей выборки.

Это версия Cohere Transcribe, подготовленная ctyau в формате CoreML FP16 для Apple Silicon. В основе лежит CohereLabs/cohere-transcribe-03-2026 — модель распознавания речи семейства Conformer и Transformer; карточка базовой модели указывает 2 млрд параметров, тогда как для этой версии в метаданных указано 151 млн. Модель принимает аудио после преобразования в log-mel спектрограмму и выдаёт текстовую транскрипцию. Поддерживаемый язык в метаданных — английский; контекст составляет 1024 токена. Экспорт использует CoreML MLState для кэширования состояний декодера и рассчитан на ускорение вывода на Apple Neural Engine и Apple GPU. README приводит результаты тестов на Apple M5 и описывает комплект файлов для интеграции в приложения диктовки и транскрибации. Заявленные скорости относятся к указанной конфигурации оборудования и не гарантируют такой же производительности на других устройствах. Модель распространяется по лицензии Apache-2.0. Для использования описанного stateful CoreML-пакета README указывает требования iOS 18 или macOS 15 и новее.