I.9Аудио и музыка

OutcomesAI-Whisper-tiny-v1.1 — дообученная модель семейства Whisper, разработанная на основе piyushmaharana/outcomes-whisper-tiny-v1 и датасета big-transcript-pronounce. Она предназначена для автоматического распознавания речи и преобразования английской речи в текст. Модель содержит 29,4 млн параметров; веса представлены в формате Safetensors. В README приведены результаты оценки: loss 0,0602 и WER 2,82, однако описание методики оценки и ограничений отсутствует. Модель распространяется по лицензии Apache-2.0.

Qwen3-ASR-Nepali — дообученная Siddhant Skarki модель Qwen3-ASR-1.7B для автоматического распознавания непальской речи и транскрибации аудио. Это плотная модель архитектуры Qwen3ASRForConditionalGeneration; в репозитории представлены веса safetensors. Обучение проводилось примерно на 157 часах общедоступной непальской речи, включая данные OpenSLR SLR54. По результатам оценки на трёх тестовых наборах, не использованных при обучении, модель показала средний WER 41,4% среди восьми проверенных открытых моделей. Она особенно хорошо справилась с разговорной речью IndicVoices-R и синтетической речью OpenSLR-43, а на чистой читаемой речи FLEURS уступила Meta MMS-1B. WER заметно различался между наборами, поэтому качество может зависеть от типа речи и набора данных. Лицензия указана как other; конкретные условия использования следует проверить в репозитории модели. Для загрузки в README приведён пример с библиотекой qwen_asr и PyTorch, с размещением модели на CUDA.

SEW-D-tiny — модель автоматического распознавания речи на основе архитектуры SEW (Squeezed and Efficient Wav2vec), разработанной исследовательской командой ASAPP Research. Представленная версия дообучена для распознавания английской речи на 100 часах набора LibriSpeech и использует выходной слой CTC. Модель работает с одноканальными речевыми аудиозаписями, оцифрованными с частотой 16 кГц. Модель предназначена для преобразования английской речи в текст и может применяться в сценариях транскрибации аудиозаписей и голосовых данных. На тестовой выборке LibriSpeech она достигает WER 10,47% для конфигурации clean и 22,73% для конфигурации other. SEW ориентирована на эффективный инференс: согласно описанию архитектуры, она обеспечивает более высокую скорость и выгодное соотношение производительности и вычислительных затрат по сравнению с wav2vec 2.0. Ограничения модели — поддержка только английской речи в данном чекпойнте, требование частоты дискретизации 16 кГц и чувствительность качества к акустическим условиям, отражённая разницей результатов на clean и other. Модель распространяется по лицензии Apache 2.0. Для использования необходимы совместимые процессор и модель SEWDForCTC; README не указывает размер модели, максимальную длину контекста или перечень дополнительных модальностей.

Underdog-Bark-0.8B-1.0 — компактная модель распознавания речи на базе архитектуры Qwen3-ASR, представленная ConwayResearch в 4-битном формате MLX. Она принимает аудио и предназначена для преобразования речи в текст; карточка указывает размер 0,8 млрд параметров в названии модели. Модель подойдёт для локального распознавания речи на устройствах Apple, поддерживающих MLX. Веса опубликованы в формате safetensors с 4-битной квантизацией. Модель распространяется по лицензии Apache-2.0. В карточке не приведены сведения о поддерживаемых языках, длине контекста и точности распознавания.

NbAiLab/wav2vec2-large-voxrex-npsc-bokmaal — модель автоматического распознавания речи на базе архитектуры Wav2Vec2 с декодированием CTC. Репозиторий содержит веса PyTorch примерно на 402,7 млн параметров; модель обучена с нуля, а в метаданных указан датасет NbAiLab/NPSC. Для оценки приведены значения loss 0,1311 и WER 0,1038, однако условия оценки не описаны. Модель предназначена для преобразования аудиоречи в текст. Название указывает на норвежский букмол, но README и метаданные не подтверждают язык обучения явно. Репозиторий распространяется по лицензии Apache-2.0. Карточка не содержит подробностей о рекомендуемых сценариях, ограничениях или процедуре обучения.

Модель KBLab на архитектуре wav2vec 2.0 Large предназначена для автоматического распознавания шведской речи. Она расширяет акустическую модель VoxRex-C социальным 4-граммным языковым моделированием, обученным на подмножестве шведского корпуса The Swedish Culturomics Gigaword Corpus: 40 млн слов из текстов социальных сетей за 2010–2015 годы. Модель содержит около 402,7 млн параметров и реализована как Wav2Vec2ForCTC в формате PyTorch. Модель принимает аудио и выдаёт текстовую расшифровку. Для обработки ожидается аудио с частотой дискретизации 16 кГц; аудио с другой частотой нужно предварительно пересчитать. На полном тестовом наборе Common Voice 6.1 VoxRex-C показала WER 9,03% без языковой модели и 6,47% с ней. Репозиторий распространяется по лицензии CC0-1.0.

wav2vec2-large-xls-r-300m-kurdish — модель распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная infinitejoy на курдской части набора Mozilla Common Voice 7.0. Она преобразует аудио в текст и предназначена для автоматической транскрипции курдской речи. Модель содержит 402,7 млн параметров; в карточке указаны значения Loss 0,2548 и WER 0,2688 на наборе оценки. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не описывает условия записи аудио, декодирование и языковые варианты курдского, поэтому результаты на других данных могут отличаться.

birgermoell/wav2vec2-speechdat — модель распознавания речи, дообученная на основе facebook/wav2vec2-large-xlsr-53 на наборе COMMON_VOICE для шведского языка (вариант SV-SE). Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; модель принимает аудио и преобразует его в текст. На оценочной выборке указаны Loss 0,4578 и WER 0,2927. Модель предназначена для автоматической транскрибации речи на шведском языке, в частности аудио, близкого к данным Common Voice SV-SE. Опубликована по лицензии Apache-2.0. Карточка не описывает дополнительных сценариев применения и ограничений; качество на других типах аудио не установлено.

edugp/wav2vec2-xls-r-300m-36-tokens-with-lm-es — модель распознавания испанской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на датасете Common Voice. Она использует архитектуру Wav2Vec2 с CTC-декодированием и дополнительной 5-граммовой языковой моделью KenLM. При обработке текста сохраняются строчные буквы a–z, испанские гласные с ударением и ü; другие символы удаляются. В README указаны результаты на оценочной выборке: WER 0,0868 и CER 0,0281. Модель принимает аудио и выдаёт испанскую транскрипцию. Репозиторий содержит веса PyTorch, модель насчитывает около 402,7 млн параметров и распространяется по лицензии Apache-2.0. Карточка не содержит подробных сведений о контексте применения и ограничениях качества за пределами указанной оценочной выборки.

Модель m-salman-a/wav2vec2-xlsr-53-common-voice-indonesian — система автоматического распознавания речи на базе wav2vec 2.0 XLSR-53, дообученная автором репозитория на индонезийской части Common Voice 8.0. Она преобразует аудио на индонезийском языке в текст и предназначена для распознавания речи в записях, подготовленных по правилам предобработки модели. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. В обучающих данных было около 32 тысяч аудиозаписей из разделов train, validation и other; аудио приводили к частоте 16 кГц, а текст нормализовали: удаляли символы, переводили цифры в словесную форму и приводили символы к нижнему регистру. В README сообщается средний показатель WER 15,6% по пяти запускам на тестовой части Common Voice 8.0. Это экспериментальная модель, созданная в рамках бакалаврской исследовательской работы. Для корректных результатов входное аудио следует привести к 16 кГц и учитывать применённую нормализацию транскриптов; качество на иных данных в карточке не описано. Лицензия в предоставленных данных не указана.

Это конверсия модели Wespeaker ResNet34-LM в формат GGUF/GGML для использования как экстрактора эмбеддингов говорящих в диаризаторе CrispASR. Модель принимает аудио, вычисляет 80-мерные Kaldi fbank-признаки и выдаёт 256-мерный вектор для сравнения голосов. В основе — ResNet34 с TSTP-пулингом и линейным слоем; число параметров после удаления обучающей головы составляет около 6,6 млн. Репозиторий содержит вариант F32 и рекомендуемый вариант с F32-свёртками и F16-линейным слоем. Модель предназначена для извлечения признаков голоса, распознавания и сопоставления говорящих, в том числе как компонент диаризации аудиозаписей. Проверка конверсии показывает близкое совпадение эмбеддингов с исходной реализацией PyTorch. Однако совпадение с эталоном не означает высокой точности диаризации: в приведённой оценке на VoxConverse DER составил 33,1%, а число говорящих было определено точно в 18 из 40 файлов; результат зависит и от сегментации речи. Лицензия — CC BY 4.0, как у исходной модели.

Модель sarpba/whisper-hu-large-v3-turbo-finetuned — дообученная на пользовательском наборе данных мультиязычная модель Whisper Large v3 Turbo от OpenAI, предназначенная для автоматического распознавания речи и преобразования аудио в текст. Она содержит около 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса опубликованы в формате safetensors. В README приведены результаты оценки: loss 0,0287 и WER 0,0748. Модель ориентирована на венгерскую речь. README сообщает, что в нативном формате F32 она работает хорошо, но при квантовании через CTranslate2 качество резко ухудшается: вывод может сильно обрезаться, особенно на аудио длительностью около 10 секунд или меньше. Репозиторий распространяется по лицензии MIT.

chuuhtetnaing/whisper-large-v3-myanmar — дообученная модель распознавания речи на базе Whisper large-v3 от OpenAI. Она обучена на наборе chuuhtetnaing/myanmar-speech-dataset-openslr-80 и предназначена для транскрибации аудио на бирманском языке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors для Transformers. В карточке указаны результаты оценки на тестовом наборе: loss 0,1752 и WER 54,8976. Модель принимает аудио и выдаёт текст; практическое качество распознавания зависит от записи и речи. Лицензия — Apache-2.0.

onnx-community/whisper-large-v3-turbo_timestamped — это версия модели OpenAI Whisper large-v3-turbo, подготовленная сообществом onnx-community. Репозиторий содержит ONNX-веса, совместимые с Transformers.js, и предназначен для запуска модели в средах, поддерживающих этот фреймворк, включая веб-приложения. Модель ориентирована на задачи автоматического распознавания речи и основана на Whisper large-v3-turbo. README не содержит подробностей о размере модели, архитектуре, поддерживаемых языках, модальностях, длине контекста, точности, производительности или наличии функции временных меток, отражённой в идентификаторе модели. Также не указаны сильные стороны и ограничения по сравнению с исходной моделью. Условия лицензирования в README не указаны. Репозиторий описывает ONNX-веса как временное решение до более широкого распространения WebML и рекомендует использовать Optimum для конвертации моделей в ONNX и подготовки их к работе в веб-средах.

Whisper-Small-Khmer-Final-3000 — контрольная точка модели Whisper Small, дообученной Phonsobon для автоматического распознавания речи на кхмерском языке. Это отдельный репозиторий с весами и файлами процессора, подготовленный для инференса без загрузки остальных контрольных точек обучения; формат весов — safetensors. Модель принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для расшифровки кхмерской речи. Для работы входное аудио следует привести к моно с частотой 16 кГц; автор рекомендует сначала проверять модель на коротких чистых аудиофрагментах длительностью от нескольких секунд примерно до 30 секунд. Лицензия — Apache-2.0.

sajilck разработала Whisper Small Malayalam — модель распознавания речи на базе Whisper Small от OpenAI, дообученную на объединённом корпусе из шести наборов данных с речью на малаялам. Модель предназначена для транскрибирования малаяламской речи; в метаданных указаны архитектура Whisper, 153,1 млн параметров и формат safetensors. Для подачи аудио README указывает WAV, 16 кГц, моно, PCM 16 бит. Модель обучалась на аудиозаписях с прочитанной речью, краудсорсинговых данных и новостных трансляциях. В README приведены результаты 37,64% WER на тестовом наборе CommonVoice Malayalam и 43,5% WER / 7,3% CER на тесте из разных источников после фильтрации дубликатов. Лицензия — Apache-2.0. Качество может быть ниже на спонтанной разговорной речи и отдельных диалектах; иностранные имена модель может передавать фонетически на малаялам. README сообщает, что обычный запуск через Transformers на CPU медленнее реального времени. Указанная там версия уступает более новой sajilck/whisper-small-malayalam-v2 по оценке на тесте без утечек данных.

qanastek/whisper-tiny-french-cased — дообученная модель распознавания речи на базе openai/whisper-tiny, созданная для французского языка на данных Mozilla Common Voice 11.0. Модель построена на архитектуре Whisper и содержит 29,4 млн параметров; репозиторий предоставляет веса PyTorch. Она преобразует аудио в текст и подходит для расшифровки французской речи, в том числе записей, похожих на данные Common Voice. В README приведены результаты оценки: WER 33,0655 на французской части Common Voice 11.0, 36,69 на французском FLEURS и 32,71 на французском VoxPopuli. Эти значения указывают на заметные ошибки распознавания, поэтому для задач с высокими требованиями к точности результатам потребуется проверка. Лицензия модели — Apache-2.0.

Rolv-Arild/xls-r-300m-npsc-4 — модель автоматического распознавания речи, разработанная путём дообучения facebook/wav2vec2-xls-r-300m на наборе NBAILAB/NPSC - 16K_MP3. Она использует архитектуру wav2vec2 с CTC-декодированием, принимает аудио и преобразует речь в текст. На оценочном наборе указаны loss 0,1957 и WER 0,1697. Модель предназначена для распознавания речи в сценариях, соответствующих данным NPSC; подробности о целевых условиях применения в карточке не приведены. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

chmanoj/xls-r-300m-te — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе OPENSLR_SLR66 для языка телугу. Она принимает аудио и преобразует речь в текст; архитектура основана на Wav2Vec2 с декодированием CTC, число параметров — 402,7 млн. В оценке на тестовом наборе указана WER 0,3467. Модель предназначена для автоматической транскрипции речи на телугу. Опубликована под лицензией Apache-2.0. Указанный показатель WER относится к оценочному набору OPENSLR_SLR66; качество на других записях может отличаться.

tomascufaro/xls-r-es-test — дообученная модель распознавания речи на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель обучена на испанской части набора Common Voice 8.0 и предназначена для преобразования испанской речи в текст. На оценочной выборке указаны WER 0,1261 и CER 0,035. Модель принимает аудио и выдаёт текст; результаты на других языках и типах аудио в карточке не приведены. Лицензия — Apache-2.0.

aci-yoruba-phase8 — модель распознавания речи на базе архитектуры Wav2Vec2, дообученная Awesome-x. Она принимает аудио и преобразует речь в текст; в метаданных указано 402,7 млн параметров и формат весов Safetensors. В README приведён результат оценки: WER 0,3410 и loss 1,5843. Карточка не описывает назначение модели подробнее, набор данных, языковую поддержку и условия применения. Название указывает на йоруба, но отдельного подтверждения языка в карточке или метаданных нет. Лицензия также не указана в доступных сведениях.

Это модель автоматического распознавания речи на основе wav2vec2, дообученная jssaluja на базе facebook/mms-1b-all. Она предназначена для преобразования аудио на пенджаби в текст; обучение проводилось на наборах с речью, аудиокнигами, киртаном, подкастами, лекциями и другими записями. Модель содержит 1,3 млрд параметров и использует архитектуру Wav2Vec2ForCTC. В карточке приведены результаты оценки: WER 0,3195 и CER 0,0798. Это указывает на ошибки распознавания, поэтому результат может требовать проверки и исправления, особенно для аудио вне тематики и условий обучающих данных. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства, но не коммерческое использование.

Модель разработана автором репозитория h-gajdov как полное дообучение Moonshine Tiny для преобразования македонской речи в текст. Это плотная encoder-decoder-модель семейства Moonshine с 27,1 млн параметров, принимающая аудио как необработанную форму волны; по описанию автора, вычислительные затраты зависят от длительности аудио, что подходит для распознавания на устройстве. Для обучения использовано около 2,99 млн аудиофрагментов длительностью до 30 секунд из македонских речевых корпусов; диалектные репозитории и отложенный тестовый набор исключены. На отложенном тесте из 44 записей автор сообщает WER 11,62 и CER 4,21; лучший WER во время обучения составил 11,33. Результаты относятся к указанному небольшому тестовому набору, поэтому не гарантируют такое же качество на других источниках речи и диалектах. Модель предназначена для автоматического распознавания македонской речи; лимит декодирования связан с 194 позициями контекста. Лицензия в предоставленных данных не указана.

neurlang/ipa-whisper-small — модель распознавания речи на базе Whisper small от OpenAI, дообученная на 15 000 синтетических аудиозаписей с фонетической разметкой IPA. В обучающую выборку вошли случайные записи Common Voice 21 на более чем 70 языках; синтетические IPA-данные созданы с помощью фонемизатора goruut. Это трансформерная модель типа encoder-decoder с 153,1 млн параметров. Модель предназначена для преобразования речи в фонетическую транскрипцию IPA и демонстрирует обобщение на разные языки и аудиодомены. Whisper также поддерживает обычную транскрипцию речи; для длинных записей README описывает обработку фрагментами по 30 секунд. Модель принимает аудио и выдаёт текстовую транскрипцию. Качество может снижаться для языков с малым объёмом обучающих данных и для отдельных акцентов и диалектов. Возможны галлюцинации — добавление слов, отсутствующих в аудио, — и повторяющиеся фрагменты. Модель распространяется по лицензии Apache-2.0.

Kotoba-Whisper v2.0 — модель распознавания японской речи, разработанная Kotoba Technologies совместно с Asahi Ushio. Она преобразует аудио в текст и предназначена для транскрибации японской речи, в том числе записей японских телепередач. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. Это дистиллированная версия: полный энкодер Whisper large-v3 сочетается с декодером из двух слоёв, инициализированных первым и последним слоями модели-учителя. По данным авторов, она работает в 6,3 раза быстрее Whisper large-v3. Модель обучали на японском наборе ReazonSpeech; авторы сообщают о конкурентных результатах на тестах ReazonSpeech, JSUT Basic 5000 и CommonVoice 8.0. Модель поддерживается библиотекой Transformers версии 4.39 и новее. В карточке указана лицензия Apache-2.0. Она рассчитана на японскую речь; результаты на других языках не заявлены. Показатели WER в приведённых авторами тестах остаются высокими, поэтому качество распознавания может зависеть от аудио и сценария использования.

BuzzASR/lao — одноязычная модель автоматического распознавания речи на лаосском языке из набора BuzzASR, разработанная авторами проекта и дообученная на основе openai/whisper-large-v3. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration, содержащая 907,3 млн параметров; веса опубликованы в формате safetensors. Модель принимает аудио и преобразует речь в текст, а языковая и задачная подсказка уже встроена в конфигурацию генерации. Модель предназначена для транскрибации лаосской речи. При оценке на наборах FLEURS и Common Voice 25 авторы сообщают снижение CER примерно в 2,9 раза относительно Whisper-large-v3 без дообучения на объединённом тестовом наборе. Обучение включало данные FLEURS, Common Voice Corpus 25.0 и текстовые данные корпуса Goldfish. Модель ограничена лаосским языком; качество на других доменах и диалектах может отличаться от результатов на тестовых наборах. Распространяется по лицензии MIT.

MMS_10langs_simultane — дообученная модель распознавания речи на базе facebook/mms-1b-all, разработанная автором репозитория ilyes25. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 1,3 млрд параметров. В README приведены результаты оценки: loss 0,3003, WER 0,3716, BLEU 0,4691, ROUGE-1 0,6871, ROUGE-2 0,5597 и ROUGE-L 0,6859. Модель предназначена для автоматического распознавания речи. README не раскрывает набор данных, языки и условия оценки, поэтому результаты нельзя уверенно переносить на конкретные языки и сценарии. Лицензия CC BY-NC 4.0 допускает использование с соблюдением условий лицензии, включая некоммерческий характер.

Модель csikasote/mms-1b-all-bigc_mini-train-drodat-gdro-1.15e-5-dat-0.207-no-sd-0.00-42 — дообученная версия facebook/mms-1b-all, созданная на наборе BIGC_MINI - BEM. Это плотная модель wav2vec2 с архитектурой Wav2Vec2ForCTC и 1,3 млрд параметров, предназначенная для автоматического распознавания речи и преобразования аудио в текст. В карточке приведены результаты оценки на тестовом наборе: Loss 35,7283 и CER 0,1251. Модель распространяется в формате safetensors и доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Данных о языках и более подробных сценариях обучения в карточке нет.

Это модель распознавания речи, дообученная csikasote на базе facebook/mms-1b-all на наборе BIGC_MINI - BEM. Она использует архитектуру wav2vec2 с CTC-выходом и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в карточке указаны результаты оценки на тестовой выборке: Loss 34,8514 и CER 0,1197. Модель подходит для автоматической расшифровки аудио в сценариях, соответствующих данным BIGC_MINI - BEM. Базовая MMS-1B-All поддерживает более тысячи языков, однако README не уточняет, какие языки охватывает это дообучение. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Moonshine Streaming Medium — это GGUF-конверсия модели автоматического распознавания речи Moonshine Streaming, разработанной Useful Sensors и подготовленной для работы с transcribe.cpp проектом handy-computer. Модель предназначена для преобразования английской речи в текст в пакетном и потоковом режимах, включая сценарии с низкой задержкой на периферийных устройствах и оборудовании с ограниченными ресурсами. Модель имеет архитектуру encoder-decoder и содержит около 245 миллионов параметров. Она использует аудиофронтенд с частотой 50 Гц, sliding-window attention и эргодический encoder без позиционных эмбеддингов; позиционная информация добавляется адаптером перед авторегрессионным decoder. Это самая глубокая и широкая модель в семействе Moonshine Streaming: encoder и decoder имеют по 14 слоёв, размер скрытого состояния составляет 768 для encoder и 640 для decoder. На вход подаётся монофонический WAV с частотой 16 кГц. Поддерживается только английский язык; перевод, мультиязычное распознавание, определение языка и временные метки не поддерживаются. Доступны варианты GGUF в форматах F32, F16 и Q8_0 размером примерно от 296 МБ до 1,07 ГБ. На тестовой выборке LibriSpeech test-clean показатель WER составляет 2,16% для всех указанных вариантов, что соответствует качеству F32-версии в заявленной проверке. Потоковая обработка и относительно компактный размер являются сильными сторонами модели, однако её применение ограничено английской речью, отсутствием timestamps и необходимостью предварительно подготовить аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии MIT, унаследованной от базовой модели.