I.9Аудио и музыка

anuragshas/wav2vec2-xls-r-300m-mt-cv8-with-lm — модель автоматического распознавания речи, созданная Anurag Shastri на основе facebook/wav2vec2-xls-r-300m и дообученная на мальтийской части Mozilla Common Voice 8.0. Это плотная модель Wav2Vec2 с CTC-декодированием, принимающая аудио и выдающая распознанный текст на мальтийском языке. В названии и оценке указано применение языковой модели при декодировании: на тестовом наборе Common Voice 8.0 WER составил 15,967% с LM и 19,853% без неё. Модель подходит для транскрибирования мальтийской речи и оценки систем распознавания на тестовом наборе Common Voice. Репозиторий содержит веса PyTorch; в метаданных указано 402,7 млн параметров и лицензия Apache-2.0. Результаты приведены для конкретного тестового набора и не гарантируют такое же качество на иных типах записи, акцентах или условиях шума.

CasperMuz/whisper-base-sna-ven-pilot — дообученная модель OpenAI Whisper Base для автоматического распознавания речи на шона и тшивенда. Она основана на архитектуре WhisperForConditionalGeneration и принимает аудио, выдавая распознанный текст. Модель обучена на очищенном наборе WAXAL для шона и наборе Swivuriso для тшивенда; карточка указывает оценку WER 56,48 на evaluation set, 36,81 для шона и 76,15 для тшивенда. Результаты показывают заметно различающееся качество для двух языков, особенно слабое для тшивенда. Распространяется по лицензии Apache-2.0.

xezpeleta/whisper-large-v3-eu — модель автоматического распознавания речи, созданная дообучением Whisper large-v3 от OpenAI для баскского языка (eu). Она принимает аудио и выдаёт его расшифровку текстом; использует архитектуру Whisper large-v3 и содержит около 905,2 млн параметров. Для обучения применён корпус asierhv/composite_corpus_eu_v2.1. Модель предназначена для транскрибации баскской речи, в том числе для профессиональных сервисов и приложений, где важна точность. В README указаны WER 6,5443 на валидационной выборке обучающего корпуса и WER 4,84 на Mozilla Common Voice 18.0. Лицензия — Apache-2.0. Качество распознавания зависит от записи: фоновый шум и плохие условия могут ухудшить результат; возможны ошибки на диалектной и неформальной речи, сложных конструкциях и редких словах. Большой размер модели требует существенных вычислительных ресурсов и ограничивает применение на устройствах с малой мощностью и в сценариях реального времени.

Rhaodgh/whisper-medium-libyan2 — дообученная версия OpenAI Whisper medium, разработанная автором репозитория на наборе из 258 вручную расшифрованных фрагментов ливийских подкастов. Модель предназначена для автоматической транскрипции речи на ливийском диалекте арабского языка в текст. Модель использует архитектуру Whisper и библиотеку Transformers; веса опубликованы в формате safetensors. На оценочном наборе указаны loss 0,7715 и WER 36,1968. Базовая модель мультиязычная и также поддерживает перевод речи, однако карточка этой версии описывает дообучение для распознавания ливийского диалекта. Лицензия — Apache-2.0. Карточка не сообщает дополнительных ограничений применения.

Модель whisper-medium-v1-luxembourgish разработана Департаментом гуманитарных наук Университета Люксембурга в рамках проекта LuxASR. Это дообученная версия Whisper Medium для автоматической расшифровки люксембургской речи в текст; модель подходит для транскрибирования аудио, задач доступности, подготовки субтитров и исследований по распознаванию речи на люксембургском языке. Архитектура — WhisperForConditionalGeneration, размер — 455,8 млн параметров по метаданным. Модель обучалась на более чем 150 часах пар «аудио—текст» на люксембургском языке. Веса представлены в формате safetensors. README указывает лицензию Open Model, Data & Weights (open-mdw); условия использования следует сверять с текстом лицензии репозитория.

Whisper Small Arabic — дообученная модель распознавания речи на основе openai/whisper-small, созданная автором arun100 на арабской части датасета Mozilla Common Voice 16.0. Она предназначена для преобразования арабской речи в текст и может применяться для транскрибирования записей и голосовых сообщений. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors. На оценочной выборке указаны loss 0,4005 и WER 58,9073; высокий WER указывает на заметные ошибки распознавания. Модель лицензирована по Apache-2.0.

Модель kpriyanshu256/whisper-small-as-500-64-1e-05-bn — дообученная версия Whisper small от OpenAI для автоматического распознавания речи на ассамском языке. Она основана на архитектуре WhisperForConditionalGeneration и содержит 153,1 млн параметров. Модель обучена на Common Voice 11.0; в карточке указаны значения Loss 1,3386 и WER 61,7578 на наборе оценки. Модель предназначена для преобразования аудиозаписей на ассамском языке в текст, например для расшифровки речи и подготовки текстовых субтитров. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Показатель WER на наборе оценки указывает на заметные ошибки распознавания; результаты на других данных могут отличаться.

PhanithLIM разработал Whisper Small Khmer — модель автоматического распознавания речи, полученную дообучением openai/whisper-small на кхмерских речевых данных. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров; она предназначена для преобразования аудио на кхмерском языке в текст. Для обучения использованы публичные и пользовательские наборы данных, включая датасеты PhanithLIM, OpenSLR и Google FLEURS. В карточке указаны результаты оценки: loss 0,0776 и WER 78,5976; высокий WER указывает на существенные ошибки распознавания в этой оценке. Модель распространяется по лицензии Apache-2.0.

Whisper Small Esperanto v0.2 — это дообученная tarob0ba модель распознавания речи на основе openai/whisper-small. Она предназначена для транскрибирования аудио на эсперанто; обучение проводилось на наборе Common Voice Scripted Speech 25.0 для эсперанто. В архитектуре Whisper используется Transformer для обработки аудио и генерации текста. На оценочной выборке указана WER 13,9593 и loss 0,2158. Модель распространяется в формате safetensors по лицензии Apache-2.0.

muneebharoon/whisper-small-ks — дообученная Muneeb Haroon модель автоматического распознавания речи на базе openai/whisper-small. Она предназначена для транскрибирования аудио на кашмирском языке. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров; для работы используется библиотека Transformers. На указанном наборе оценки модель получила WER 39,8077 и loss 1,1578. Эти результаты относятся только к описанной оценочной выборке и не гарантируют такое же качество на других записях. Модель принимает аудио и генерирует текстовую транскрипцию. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

EYEDOL/whisper-tiny-yoruba — модель автоматического распознавания речи на базе архитектуры Whisper, дообученная разработчиком EYEDOL на наборе данных naija-voices-yoruba-split_0-1. Модель содержит 29,4 млн параметров и принимает аудио, выдавая распознанный текст; карточка указывает Transformers и формат safetensors. Модель предназначена для транскрибирования речи на йоруба. В карточке приведены результаты оценки на тестовом наборе: WER 0,7006 и WER Ortho 0,7773. Лицензия — Apache-2.0.

oddadmix/Whisperv3-tunisian-codeswitch — дообученная модель распознавания речи на базе Whisper-large-v3, представленная для подзадачи NADI 2026 по распознаванию тунисской арабской речи с переключением между арабским, французским и английским языками. Модель принимает аудио и выдаёт транскрипцию; в README описано декодирование с параметрами language="ar" и task="transcribe". Модель дообучена на данных тунисской речи с переключением языков и записях TEDx из обучающей части NADI; использовались два эпоха обучения и SpecAugment. В README указаны WER 17,26% и CER 6,91% на валидации, а также WER 15,22 на слепом тесте. Это результаты конкретных наборов данных и протокола оценки; качество на других условиях может отличаться. Лицензия в предоставленных данных не указана.

Fun-CineForge — модель для дубляжа видеоматериалов, разработанная командой Tongyi Lab Speech Team совместно со студентом University of Science and Technology of China. Она предназначена для озвучивания сцен с монологами, закадровым повествованием и диалогами, включая сцены с несколькими говорящими. Проект объединяет модель на основе мультимодальной языковой модели и конвейер создания данных для дубляжа; авторы сообщают о результатах по качеству аудио, синхронизации губ, смене тембра и следованию инструкциям. Модель поддерживает китайские и английские материалы. Для инференса требуется потребительский GPU; опубликованы код инференса и чекпойнты. В репозитории указаны форматы ONNX и Safetensors. Модель распространяется по лицензии Apache-2.0, однако авторы характеризуют проект как исследовательский артефакт, не являющийся коммерческим продуктом Tongyi Lab; образцы датасета имеют отдельные условия лицензирования.

MWirelabs/ne-asr — мультиязычная модель автоматического распознавания речи, разработанная MWirelabs и дообученная на базе openai/whisper-medium. Она предназначена для распознавания речи на восьми языках Северо-Восточной Индии. Модель использует архитектуру Whisper и содержит 455,8 млн параметров; принимает аудио и генерирует текстовую транскрипцию. В обучении использованы 150 483 образца из набора Vaani и собственного корпуса MWire. В README приведены результаты на тестах для кхаси (WER 16,89%), гаро (9,31%) и мизо (23,85%). Модель распространяется по лицензии CC BY 4.0; результаты для трёх языков показывают, что качество различается по языкам.

oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2 — дообученная oddadmix модель распознавания речи на основе Qwen/Qwen3-ASR-0.6B-hf. Она предназначена для транскрибации речи на разных диалектах арабского языка; модель принимает аудио и выдаёт текст без диакритических знаков. Обучение проведено на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small. Архитектура — плотная Qwen3-ASR с 0,6 млрд параметров; доступны веса safetensors для Transformers. В README приведён WER 0,5514 и CER 0,2148 на тестовой выборке примерно из 2 600 клипов с нормализованным текстом. В сравнении на этой выборке результат уступает указанным вариантам Whisper. Качество заметно зависит от диалекта: в README отмечено, что магрибские варианты арабского распознаются сложнее, чем диалекты стран Персидского залива и Леванта. Лицензия — Apache-2.0.

whisper-base.en — модель автоматического распознавания речи, опубликованная Software Mansion для библиотеки React Native ExecuTorch. Она основана на upstream-модели whisper-base.en от OpenAI и поставляется в виде программ ExecuTorch с расширением .pte, готовых к запуску непосредственно на устройстве. Модель предназначена для преобразования англоязычной речи в текст в мобильных приложениях и других сценариях on-device распознавания. В репозитории доступны варианты для backend Core ML, MLX, Vulkan и XNNPACK с точностями fp16, bf16, int8 и fp32. Размер файлов зависит от backend и точности и составляет примерно от 97,8 до 380 МБ. К сильным сторонам относятся поддержка нескольких аппаратных backend, варианты с пониженной точностью для потенциального сокращения размера и требований к ресурсам, а также интеграция с React Native ExecuTorch. Ограничения включают ориентацию на английский язык, необходимость совместимого устройства и runtime ExecuTorch версии 1.4.1; обратная и прямая совместимость с другими версиями не гарантируется. Сведения о размере архитектуры и длине контекста в README не указаны. Репозиторий распространяется по лицензии Apache-2.0.

whisper-tiny.en — англоязычная модель автоматического распознавания речи, разработанная OpenAI и экспортированная командой Software Mansion для библиотеки React Native ExecuTorch. Модель предназначена для преобразования английской речи в текст непосредственно на мобильных и других устройствах с поддержкой ExecuTorch, включая приложения на React Native. Репозиторий содержит программы ExecuTorch в формате .pte для бэкендов Core ML, MLX, Vulkan и XNNPACK. Доступны варианты с точностью fp16, bf16, int8 и fp32; размер файлов зависит от бэкенда и точности и составляет примерно от 57 до 222 МБ. Модель поддерживает английский язык и относится к классу automatic speech recognition. Архитектура и размер исходной модели в README не описаны; указано лишь, что это upstream-модель OpenAI whisper-tiny.en. К сильным сторонам относятся возможность локального выполнения на устройстве, несколько аппаратно-программных бэкендов и варианты с пониженной точностью для снижения требований к ресурсам. Ограничения включают поддержку только английского языка, зависимость от совместимого бэкенда и отсутствие гарантии обратной совместимости ExecuTorch: файлы опубликованы для ExecuTorch v1.4.1, поэтому старые версии runtime могут не загрузить модель. Лицензия — Apache-2.0.

Карточка модели Amircyoo/s1-mini на Hugging Face совпадает с карточкой superwhisper/s1-mini, поэтому описание составлено по ней. S1-mini — компактная причинно-следственная языковая модель Superwhisper, дообученная на базе Qwen/Qwen3-0.6B для нормализации английских транскриптов распознавания речи. Она преобразует сырой текст ASR в чистый письменный: удаляет слова-паразиты, исправляет повторы и самоисправления, расставляет пунктуацию и заглавные буквы, а также записывает числа, даты, время, валюты и адреса электронной почты в подходящем письменном виде. Модель содержит около 508 млн параметров по метаданным (README указывает 596 млн уникальных параметров) и поддерживает контекст до 40 960 токенов. Она возвращает только отредактированный текст; стиль, оформление списков и формат письма задаются управляющей строкой во входе. На тестовом наборе из 7 519 английских примеров автор сообщает точность по токенам 94,8%. Модель рассчитана только на английский язык и не предназначена для диалога или выполнения общих инструкций. Для корректной работы нужно точно соблюдать описанный в README формат системного промпта и управляющей строки. Лицензия указана как other; перед использованием следует проверить её условия.

Aniemore/unispeech-sat-emotion-v1-crosslingual — модель распознавания эмоций в речи на базе архитектуры UniSpeech-SAT, дообученная на смеси записей из восьми языков и трёх речевых регистров. Она относит аудио к семи классам: гнев, отвращение, энтузиазм, страх, счастье, нейтральность и грусть. Модель содержит 402,7 млн параметров и предназначена для классификации аудио; доступны варианты весов fp32, int8, fp8 и int4. Модель рассчитана на анализ спонтанной речи, включая записи разговоров и подкастов, а также на эмоциональную классификацию речи на русском и других языках из обучающей смеси. На тесте спонтанной русской речи она лучше предыдущей версии распознаёт нейтральные реплики, тогда как на тесте актированной русской речи её результат ниже. Автор предупреждает, что оценки для CAMEO не доказывают перенос на новые языки: тестовые и обучающие части могут содержать записи одних и тех же говорящих. Лицензия — MIT; в README также сказано, что лицензия унаследована от базовой модели microsoft/unispeech-sat-large. Результаты зависят от речевого регистра и состава классов: метрики четырёхклассового корпуса нельзя напрямую сравнивать с семиклассовыми, а порог нейтрального класса можно настраивать на собственных данных.

Модель Badr al-Absi для автоматического распознавания речи на шона. Это дообученная на 72 часах размеченной речи версия facebook/w2v-bert-2.0: архитектура Wav2Vec2-BERT с трансформерным энкодером, свёрточным извлечением признаков и CTC-выходом. В метаданных указано 402,7 млн параметров. Модель принимает аудио и преобразует речь на шона в текст. Она предназначена для транскрибирования аудиозаписей, голосовых помощников и инструментов доступности; заявленная точность на данных из целевой области — WER ниже 23%. Лицензия — CC-BY-4.0. Качество вне обучающей области может отличаться; карточка приводит оценку только для данных из целевой области. Модель рассчитана на шона, поэтому не следует считать её универсальным распознавателем речи.

jonatasgrosman/wav2vec2-large-xlsr-53-japanese — модель автоматического распознавания японской речи, созданная Jonatas Grosman дообучением facebook/wav2vec2-large-xlsr-53. Это архитектура Wav2Vec2 с CTC-головой, содержащая 405,1 млн параметров. Модель принимает аудио и выдаёт распознанный текст; для входной речи требуется частота дискретизации 16 кГц. Модель обучена на обучающей и валидационной выборках Common Voice 6.1, а также на CSS10 и JSUT. В README приведена оценка на тестовых данных Common Voice: WER 81,80% и CER 20,16%; автор отмечает, что результаты могут различаться из-за особенностей используемых скриптов оценки. Модель предназначена для распознавания японской речи, но приведённые метрики указывают на существенные ошибки распознавания. Распространяется по лицензии Apache-2.0.

Whisper Amharic Small v2 — дообученная модель распознавания речи на основе openai/whisper-small. Она предназначена для транскрибации амхарской речи; разработчик сообщает, что обучение проводилось на данных Mozilla Common Voice на амхарском языке. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В README приведён показатель WER 69%, улучшенный с 77% в предыдущей версии. Модель принимает аудио и выдаёт текст. Для работы с ней в README показано использование Transformers и WhisperProcessor. Лицензия — OpenRAIL. Указанный показатель WER свидетельствует о заметной ошибке распознавания, поэтому качество транскрипции может требовать проверки, особенно для задач с высокими требованиями к точности.

ElizabethMwangi/whisper-large-v3-swahili-nss-afrivoice-5domains — модель распознавания речи на базе Whisper Large V3, разработанная Elizabeth Mwangi. Это этап 2 дообучения для распознавания нестандартной суахилийской речи из Кении; исходная модель была дообучена на корпусе AfriVoice по пяти предметным областям, а этот чекпойнт дополнительно обучен на наборе CDLI Kenyan Swahili Nonstandard Speech. Архитектура — WhisperForConditionalGeneration, около 905,2 млн параметров; модель принимает аудио и выдаёт текст на суахили. На тестовом наборе нестандартной речи автор сообщает WER 0,329 и CER 0,171; для лёгкой, средней и тяжёлой степени нестандартности WER составляет соответственно 0,21, 0,25 и 0,35. Лицензия — Apache-2.0. Показатели относятся к указанному тестовому набору, поэтому качество на других данных может отличаться.

YuvrajGujari/whisper-small-balti — модель автоматического распознавания речи на балти, дообученная на аудиоданных с письмом персо-арабской графикой. В её основе Whisper Small от OpenAI: плотная модель WhisperForConditionalGeneration размером 153,1 млн параметров, доступная в формате safetensors. Модель предназначена для транскрибирования речи на балти. В README указана частота ошибок слов WER 17,40% на валидации; автор сравнивает её с прежними результатами BaltiVoice и Wav2Vec2. Модель принимает аудио и выдаёт текст; данные для дообучения взяты из YuvrajGujari/balti-tarjuman-data. Лицензия — Apache-2.0. Заявление о SOTA и метрика приведены в карточке модели и относятся к её валидационной оценке; результаты на других данных могут отличаться.

DocWolle/whisper_tflite_models — набор моделей Whisper в формате TensorFlow Lite для приложения Whisper на F-Droid. Модели принимают аудиопризнаки размером 80 × 3000 и предназначены для автоматического распознавания речи; отдельные варианты позволяют выбрать транскрибацию или перевод, а также принудительно задать язык распознавания. Выход представляет собой последовательность токенов с текстом без временных меток. Репозиторий содержит преобразованные модели TFLite на основе Whisper; точные размеры и варианты базовых моделей в доступной карточке не приведены. README показывает обёртки с лимитом генерации до 450 новых токенов. Лицензия — MIT. Модели рассчитаны на встраивание в приложение Whisper и локальный запуск совместимой средой TensorFlow Lite.

Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Systran/faster-whisper-large-v1 — конверсия модели распознавания речи Whisper large-v1 от OpenAI в формат CTranslate2, подготовленная для использования в CTranslate2 и проектах на его основе, включая faster-whisper. Модель принимает аудио и выполняет автоматическое распознавание речи; Whisper поддерживает многоязычное распознавание и перевод речи в текст. Репозиторий создан 23 ноября 2023 года, веса сохранены в FP16, а тип вычислений можно менять при загрузке через параметр compute_type. Модель распространяется по лицензии MIT. Это конверсия исходных весов, поэтому её назначение и качество определяются исходной Whisper large-v1; точные ограничения в карточке конверсии не описаны.

Это конверсия модели openai/whisper-large-v3-turbo в формат CTranslate2, опубликованная пользователем lukas-jkl. Она предназначена для распознавания речи и может использоваться в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает распознавание речи на многих языках, включая русский и английский. Репозиторий распространяется по лицензии MIT.

OpenVINO/whisper-large-v3-int8-ov — это модель автоматического распознавания речи, основанная на Whisper large-v3, разработанном OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT8 с использованием NNCF. Она предназначена для преобразования аудиозаписей в текст и поддерживает широкий набор языков, включая английский, китайский, немецкий, испанский, русский, французский, японский, арабский, украинский и многие другие. Ключевые особенности модели — совместимость с OpenVINO и возможность запуска через Optimum Intel, OpenVINO GenAI или OpenVINO Model Server, в том числе на CPU и совместимом GPU. Квантизация INT8_ASYM с размером группы 128 снижает требования к памяти и может повысить эффективность инференса, однако README не содержит количественных данных о точности, скорости или влиянии сжатия на качество распознавания. Для работы требуется OpenVINO версии 2025.2.0 или новее и Optimum Intel версии 1.23.0 или новее. Модель распространяется по лицензии Apache-2.0; ограничения следует дополнительно учитывать по оригинальной карточке Whisper large-v3.

Это конверсия модели распознавания речи Whisper large-v2, разработанной OpenAI, в формат CTranslate2. Репозиторий подготовлен для использования в CTranslate2 и проектах на его основе, включая faster-whisper; веса сохранены в FP16, а тип вычислений можно менять при загрузке через параметр compute_type. Модель принимает аудио и преобразует речь в текст. Она поддерживает многоязычное распознавание, в том числе русский и английский, а также другие языки, перечисленные в карточке. Лицензия репозитория — MIT. Ограничения качества и рекомендуемые сценарии в README этой конверсии не описаны.