I.9Аудио и музыка

jonatasgrosman/wav2vec2-large-xlsr-53-hungarian — модель распознавания венгерской речи, созданная Jonatas Grosman дообучением facebook/wav2vec2-large-xlsr-53. Это архитектура Wav2Vec2ForCTC примерно с 402,7 млн параметров; обучение проводилось на обучающей и проверочной выборках Common Voice 6.1 и CSS10. Модель принимает аудио и выдаёт текстовую транскрипцию. Для распознавания входное аудио следует подавать с частотой дискретизации 16 кГц. В README приведены результаты оценки на венгерской тестовой выборке Common Voice: WER 31,40% и CER 6,20%; автор предупреждает, что результаты могут отличаться в зависимости от особенностей сценария оценки. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

kingabzpro/wav2vec2-large-xlsr-53-punjabi — модель распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная на базе Harveenchadha/vakyansh-wav2vec2-punjabi-pam-10 на датасете Common Voice. Она преобразует аудиозаписи на панджаби в текст и подходит для транскрибирования речи, в том числе записей из Common Voice. Модель содержит 113,3 млн параметров и распространяется в форматах PyTorch и safetensors. На тестовой выборке Common Voice 8.0 указаны WER 0,4939 и CER 0,2238. Лицензия — Apache-2.0.

Bagus/wav2vec2-large-xlsr-bahasa-indonesia — модель распознавания индонезийской речи, опубликованная пользователем Bagus. Она основана на архитектуре wav2vec2 и использует CTC-декодирование; размер составляет 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на индонезийском языке в текст и обучалась на Common Voice 6.1 для индонезийского языка. В README указана тестовая ошибка WER 19,3%. Автор сообщает о более новой версии с меньшим размером и WER 5,9%, поэтому этот чекпойнт может уступать актуальной версии. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Модель scottykwok/wav2vec2-large-xlsr-cantonese разработана участником scottykwok и представляет собой wav2vec 2.0 XLSR, дообученную для автоматического распознавания кантонской речи. Она принимает аудио и выдаёт текстовую транскрипцию; модель основана на wav2vec2-large-xlsr-53 и обучалась на Common Voice zh-HK версии 6.1.0. Архитектура — Wav2Vec2ForCTC, размер — 406,3 млн параметров. Для тестовой части Common Voice zh-HK автор сообщает CER 15,11%. Модель рассчитана на кантонский язык; карточка не приводит длину аудиозаписи или контекста. Распространяется по лицензии CC BY-SA 4.0.

Edresson/wav2vec2-large-xlsr-coraa-portuguese — дообученная Edresson модель распознавания речи на базе архитектуры wav2vec 2.0. Она использует вариант Wav2Vec2ForCTC с 402,7 млн параметров и обучена на португальском корпусе CORAA. Модель предназначена для преобразования португальской речи в текст, например при расшифровке записей. Для использования доступны веса PyTorch и библиотека Transformers. README отсылает к статье о CORAA за результатами, но не приводит численных оценок качества. Лицензия — Apache-2.0.

kresnik/wav2vec2-large-xlsr-korean — модель автоматического распознавания речи на основе архитектуры Wav2Vec2, представленная пользователем kresnik. Модель обучена для распознавания корейской речи; карточка указывает оценивание на корпусе Zeroth-Korean. Модель принимает аудио и выдаёт текстовую транскрипцию. В метаданных указано около 403,9 млн параметров, класс Wav2Vec2ForCTC и форматы PyTorch и Safetensors. Для её использования подходит сценарий транскрибирования корейских аудиозаписей. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки или подробностей об ограничениях качества, поэтому точность на иных типах аудио по ней определить нельзя.

Nhut/wav2vec2-large-xlsr-vietnamese — модель автоматического распознавания речи, дообученная на основе facebook/wav2vec2-large-xlsr-53 для вьетнамского языка. Принимает аудио и выдаёт распознанный текст; для работы входную речь следует подавать с частотой дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2ForCTC и содержит 402,8 млн параметров. Для дообучения использовались Common Voice, FOSD и VIVOS. В карточке приведён результат 49,59% на тестовых данных Common Voice для вьетнамского языка; метрика не уточнена, поэтому результат следует интерпретировать с осторожностью. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.

jonatasgrosman/wav2vec2-xls-r-1b-dutch — модель распознавания голландской речи, созданная Jonatas Grosman путём дообучения facebook/wav2vec2-xls-r-1b. Она использует архитектуру wav2vec2 с декодером CTC и предназначена для преобразования аудиозаписей на нидерландском языке в текст. Модель обучалась на обучающей и валидационной выборках Common Voice 8.0, Multilingual LibriSpeech и VoxPopuli; для входной речи требуется частота дискретизации 16 кГц. Размер модели — 1,3 млрд параметров. Модель подходит для транскрибации нидерландской речи в записях и речевых приложениях. Она принимает аудио и выдаёт текст, а для работы с ней README предлагает библиотеку HuggingSound. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache 2.0.

wav2vec2-xls-r-1b-dv — модель распознавания речи на архитектуре Wav2Vec2ForCTC, дообученная на базе facebook/wav2vec2-xls-r-1b на датасете Common Voice. Она преобразует аудио в текст и предназначена для автоматической транскрипции речи. В README приведены результаты на оценочном наборе: loss 0,1702 и WER 0,2123. Модель содержит 1,3 млрд параметров, опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. В карточке указана связь с Common Voice 8.0; метаданные также содержат тег «dv», но не позволяют достоверно установить язык аудио. Сведения о длине контекста и дополнительных сценариях применения отсутствуют.

aware-ai/wav2vec2-xls-r-1b-german — модель автоматического распознавания речи, созданная дообучением архитектуры wav2vec2 XLS-R с 1,3 млрд параметров на немецкой части датасета Mozilla Common Voice 10.0. Она принимает аудио и выдаёт распознанный текст на немецком языке. Модель подходит для транскрибации немецкой речи, в том числе записей, похожих по условиям на данные Common Voice. В README приведены результаты оценки на тестовой выборке: WER 0,2931 и loss 0,3513. Используются веса PyTorch и Safetensors. В карточке не описаны ограничения, лицензия и подробности обучения; поэтому условия использования и пригодность для конкретных акустических условий по доступным данным оценить нельзя.

wav2vec2-xls-r-1b-scandinavian-E3-100h-30-epochs-20250123 — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров; модель принимает аудио и преобразует речь в текст. Карточка называет данные для дообучения неизвестным датасетом и не уточняет поддерживаемые языки, несмотря на упоминание Scandinavian в названии. На оценочном наборе указаны WER 21,6559 и CER 5,6618. Модель подходит для распознавания речи в аудиозаписях; качество для конкретных языков и условий записи следует проверять отдельно. Распространяется по лицензии Apache-2.0.

WAXAL-wal_asr-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0; в метаданных её архитектура указана как Wav2Vec2BertForCTC. Модель принимает аудио и преобразует речь в текст. В README приведены результаты оценки: loss 1.1595 и CER 0.2217. Модель содержит 402,7 млн параметров, использует библиотеку Transformers и сохранена в формате safetensors. Датасет обучения не назван, поэтому сведения о языках и области применения уточнить нельзя. Лицензия — MIT.

waxal-whisper_small_multi_s42 — дообученная модель семейства Whisper, созданная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и выдаёт транскрипцию аудио в виде текста. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors через библиотеку Transformers. В README приведены результаты оценки: WER 0,7159, CER 0,3848 и loss 0,4327. Датасет обучения обозначен как None, а подробности о языках, сценариях применения и условиях тестирования не приведены. Модель распространяется по лицензии Apache-2.0; качество распознавания следует проверять на данных целевого сценария.

whisper-base-bungoma.en — англоязычная модель распознавания речи, разработанная на основе openai/whisper-base.en и дообученная на наборе NyansapoAI/azure-dataset. Она преобразует входящее аудио в текст и предназначена для автоматической транскрипции речи на английском языке. Модель построена на архитектуре WhisperForConditionalGeneration семейства Whisper и содержит 51,7 млн параметров. В карточке указаны результаты оценки на тестовой выборке: Loss 0,0636 и WER 25,2804. Модель распространяется в формате safetensors по лицензии Apache-2.0. Описание не содержит сведений о специализированных сценариях применения или дополнительных ограничениях.

amedcj/whisper-kurmanji — модель автоматического распознавания речи на основе архитектуры Whisper, дообученная для курманджи, северного диалекта курдского языка. Разработчик обучал её на данных Common Voice Kurmanji. Модель принимает аудио и преобразует речь в текст; её также можно дообучать для других диалектов. Модель содержит 153,1 млн параметров, использует библиотеку Transformers и распространяется в формате safetensors. Она предназначена для расшифровки аудио на курманджи. Репозиторий указан под лицензией Apache-2.0. Данных о длине контекста и конкретных ограничениях распознавания в карточке нет.

Whisper Large Indonesian — модель распознавания речи на базе OpenAI Whisper Large, дообученная автором cahya на наборах mozilla-foundation/common_voice_11_0, magic_data и TITML для индонезийского языка. Она принимает аудио и преобразует речь в текст; подходит для транскрибирования записей и голосовых сообщений на индонезийском. Модель содержит около 905,2 млн параметров и распространяется в формате PyTorch. В карточке приведён результат оценки на тестовом наборе: WER 6,2483 и loss 0,2034. Модель опубликована по лицензии Apache-2.0. Подробности об условиях записи, тестовом наборе и ограничениях применения в карточке не раскрыты.

onnx-community/whisper-large-v3-turbo — это версия модели Whisper large-v3-turbo с весами в формате ONNX, подготовленная для совместимости с библиотекой Transformers.js. Репозиторий основан на модели openai/whisper-large-v3-turbo и поддерживается сообществом onnx-community. Модель предназначена для использования в веб-приложениях и других сценариях, где требуется запуск через Transformers.js с ONNX-весами. README не содержит подробных сведений об архитектуре, размере, поддерживаемых языках, модальностях, длине контекста, производительности или ограничениях исходной модели. Указано, что отдельный репозиторий с ONNX-весами является временным решением до более широкого распространения WebML. Лицензия в предоставленных данных не указана.

sam8000 выпустил дообученную на наборе FLEURS модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи на болгарском языке. Это мультиязычная модель архитектуры Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст; в метаданных указана поддержка входного аудио. На тестовой выборке автор сообщает WER 9,9711 и WER Ortho 28,9047. Модель распространяется в формате Safetensors по лицензии MIT. Подробности о составе обучающих данных, кроме указания FLEURS, и о конкретных ограничениях в карточке не приведены.

Модель andrewbawitlung/whisper-large-v3-turbo-mizonal3-E3-lus-v2026.06 разработана как дообученная версия openai/whisper-large-v3-turbo на наборе данных MiZonal v3.0. Это плотная модель Whisper для автоматического распознавания речи; размер составляет 905,2 млн параметров, веса опубликованы в формате safetensors. Версия E3 обучалась с аугментацией скорости речи и предназначена для транскрибирования аудио. В README приведены результаты на оценочном наборе: WER 14,1847, CER 2,7327 и коэффициент реального времени 0,0546. Карточка не уточняет язык аудио, поэтому языковую поддержку и область применения по этим данным определить нельзя. Модель распространяется по лицензии Apache-2.0.

Shirali/whisper-small-ISSAI_KSC_335RS_v2 — аудиомодель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Репозиторий содержит веса PyTorch; модель предназначена для автоматического распознавания речи. В README указано, что модель обучена с нуля, но набор данных обозначен как None, а сведения о назначении, обучающих данных и оценке не приведены. Языки распознавания и качество для конкретных условий записи установить по доступным данным нельзя. Лицензия не указана.

onnx-community/whisper-tiny.en — это веб-совместимая версия модели openai/whisper-tiny.en, разработанной OpenAI. Репозиторий содержит веса в формате ONNX для использования с библиотекой Transformers.js, прежде всего в браузерных и других JavaScript-сценариях, где требуется запуск модели на стороне клиента. Модель предназначена для задач автоматического распознавания речи и ориентирована на английский язык, что следует из идентификатора tiny.en. Ключевой особенностью является формат ONNX и совместимость с Transformers.js; точные сведения о размере, архитектуре, длине контекста и поддерживаемых модальностях в карточке не указаны. Лицензия также не указана, поэтому условия распространения следует уточнять в исходном репозитории openai/whisper-tiny.en.

handy-computer/whisper-tiny.en-gguf — это конвертация англоязычной модели OpenAI Whisper tiny.en в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования английской речи в текст, включая локальную обработку аудио на CPU или GPU. Поддерживается пакетная расшифровка, но потоковый режим, перевод и автоматическое определение языка отключены. Модель построена на архитектуре Transformer encoder-decoder и содержит около 39 млн параметров. Она обрабатывает аудио окнами по 30 секунд с разбиением длинных записей на фрагменты и возвращает сегментные временные метки. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 44 до 153 МБ. Квантизированные версии требуют меньше памяти, сохраняя близкое качество; например, WER на LibriSpeech test-clean составляет 5,72% для Q8_0 и 5,96% для Q4_K_M, тогда как для F32 — 5,77%. Сильные стороны модели — небольшой размер, высокая скорость и возможность запуска через transcribe.cpp на совместимом локальном оборудовании. Ограничение — поддержка только английского языка; модель не предназначена для многоязычной расшифровки, перевода или потоковой обработки. Для работы аудио должно быть подготовлено в формате WAV, 16 кГц, моно. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели OpenAI.

Whisper Khmer v7 Stable — модель 1morecupofhottea для распознавания кхмерской речи с преобразованием аудио в текст. Она дообучена на базе openai/whisper-large-v3-turbo и предназначена для транскрибирования кхмерской речи, в том числе аудио с шумом. Модель использует архитектуру Whisper и пользовательский объединённый BPE-токенизатор для кхмерского языка с 57 908 токенами. В обучении применялись 11 методов аудиоаугментации; в карточке указано 913 млн параметров. Для использования приведён пример с Transformers ASR pipeline и обработкой аудио фрагментами по 30 секунд. Лицензия — MIT.

AlexN/xls-r-300m-fr — модель автоматического распознавания французской речи, дообученная автором на датасете Mozilla Foundation Common Voice 8.0 для французского языка. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,9 млн параметров. Модель принимает аудио и преобразует речь в текст; её можно применять для расшифровки французских записей и голосовых сообщений. Модель основана на facebook/wav2vec2-xls-r-300m и распространяется в формате PyTorch. В карточке не приведены сведения об условиях лицензии и оценке качества, поэтому перед использованием следует проверить лицензию репозитория и самостоятельно оценить точность на целевых аудиозаписях.

bkh6722/bach-arb — модель распознавания речи на базе Wav2Vec2ForCTC, дообученная из jonatasgrosman/wav2vec2-large-xlsr-53-german. Веса PyTorch содержат 113,3 млн параметров. Модель предназначена для преобразования аудио в текст; конкретный язык и обучающий набор данных в карточке не описаны. На тестовой выборке указаны loss 2,9404 и WER 0,6130. Эти результаты показывают заметную долю ошибок распознавания, поэтому качество следует проверять на целевых аудиозаписях. Сведения о лицензии в предоставленных данных отсутствуют.

Canary 180M Flash в формате GGUF — это квантованные конверсии мультиязычной модели NVIDIA для автоматического распознавания речи и перевода в автономном режиме. Модель упакована для работы с transcribe.cpp и разработана на базе nvidia/canary-180m-flash; конверсию выполнил handy-computer. Она принимает монофонические WAV-файлы с частотой 16 кГц и преобразует речь в текст. Модель содержит 182 млн параметров и использует encoder-decoder архитектуру с 17-слойным FastConformer-энкодером и 4-слойным Transformer-декодером. Поддерживается распознавание английского, немецкого, испанского и французского языков, а также двунаправленный перевод между английским и немецким, испанским или французским. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером от 139 до 756 МБ. К сильным сторонам относятся автономная работа, компактный размер, высокая скорость инференса и близкое соответствие результатам эталонной реализации NeMo: для LibriSpeech test-clean заявлен WER от 1,90% до 1,94% в зависимости от квантования. Ограничения включают отсутствие потокового режима, определения языка и временных меток в текущем порте; поддерживаются только указанные четыре языка, а вход должен быть предварительно подготовлен в формате 16 кГц mono WAV. Модель распространяется по лицензии CC-BY-4.0, допускающей коммерческое использование при соблюдении условий лицензии.

BuzzASR/Czech — одноязычная модель автоматического распознавания чешской речи, разработанная как часть набора BuzzASR. Это дообучение Whisper large-v3 с исходным токенизатором Whisper, настроенное только для распознавания речи. Модель содержит 905,2 млн параметров и принимает аудио, выдавая текст; языковая и задачавая подсказки заданы в конфигурации генерации. Модель предназначена для транскрибации чешской речи. В оценке на тестовых наборах FLEURS и Common Voice 25 она показала CER 3,13 и 3,3 соответственно; качество на других типах записей и диалектах может отличаться. Обучение использовало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Модель распространяется по лицензии MIT.

Streaming Sortformer Diarizer 4spk v2 — модель NVIDIA для потоковой диаризации речи, то есть определения, кто и когда говорит в аудиозаписи. Она предназначена для онлайн-обработки разговоров и может использоваться в голосовых агентах и сценариях анализа встреч. Модель доступна в NVIDIA NeMo для инференса и дообучения; архитектура сочетает 17-слойный энкодер NEST на базе Fast-Conformer, 18-слойный Transformer и кэш акустических представлений уже встречавшихся говорящих. Для каждого кадра формируются четыре сигмоидальных выхода. Репозиторий содержит вариант GGUF с квантизацией Q8_0. Модель принимает аудио и размечает речь по говорящим в потоковом режиме. Она рассчитана максимум на четырёх говорящих. Обучение проводилось преимущественно на публичных англоязычных наборах данных, включая Fisher English, LibriSpeech и AMI Meeting Corpus. Лицензия — CC BY 4.0.

BuzzASR/dutch — одноязычная модель автоматического распознавания речи на нидерландском языке, разработанная как часть набора BuzzASR из 102 специализированных ASR-моделей. Это дообученная версия Whisper large-v3 от OpenAI: модель использует архитектуру Whisper и токенизатор исходной модели, а настройка выполнена для распознавания речи. Веса доступны в формате Safetensors; размер модели — около 905,2 млн параметров. Модель предназначена для транскрибации нидерландской речи. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25; авторы сообщают о снижении CER относительно Whisper large-v3 без дообучения на объединённом тесте. Модель поддерживает только нидерландский язык. Качество на других доменах и диалектах может отличаться от результатов на указанных тестовых наборах. Модель распространяется по лицензии MIT.

Eureka-Audio-Instruct — компактная аудиоязыковая модель на 1,7 млрд параметров, разработанная авторами Eureka-Audio. Она принимает аудио и формирует текстовые ответы для распознавания речи, вопросов об аудиозаписи, описания звуков, распознавания эмоций в речи и классификации звуковых событий. Архитектура объединяет аудиоэнкодер на основе Whisper, разреженный MoE-адаптер и языковую основу Qwen3-1.7B-Base; контекст составляет 32 768 токенов. Модель предназначена для транскрибации и широкого анализа аудио. Авторы сообщают о конкурентных результатах на аудиобенчмарках при меньшем размере по сравнению с рядом моделей на 7–30 млрд параметров и о более быстром декодировании относительно крупных моделей. Метаданные указывают поддержку английского и китайского языков. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Качество может различаться в зависимости от языка, типа записи и задачи; README не приводит здесь численных результатов оценивания, поскольку таблицы опущены. Для работы необходимы аудиовход и совместимая программная среда Transformers.