I.9Аудио и музыка

kotoba-tech/kotoba-whisper-v2.0-faster — конверсия модели распознавания речи kotoba-whisper-v2.0 в формат CTranslate2. Она предназначена для запуска через CTranslate2 и совместимые проекты, включая faster-whisper, и преобразует японскую речь из аудио в текст. В карточке приведено сравнение скорости нескольких реализаций на MacBook Pro с чипом Apple M2 Pro; результаты зависят от аудио и среды запуска. Веса сохранены в FP16, а при загрузке CTranslate2 тип вычислений можно менять параметром compute_type. README указывает, что faster-whisper поддерживает последовательное декодирование длинных аудиозаписей; для нарезанного на фрагменты декодирования автор отмечает преимущество Hugging Face pipeline в собственном эксперименте. Модель распространяется по лицензии MIT.

Moonshine Streaming Tiny — компактная модель автоматического распознавания речи, разработанная Useful Sensors и представленная в формате GGUF командой handy-computer для работы с transcribe.cpp. Это 34-миллионная encoder-decoder-модель, предназначенная для преобразования английской речи в текст в пакетном и потоковом режимах с низкой задержкой, в том числе на периферийных устройствах. Модель принимает монофонический WAV с частотой 16 кГц и выдаёт транскрипцию. Архитектура сочетает лёгкий аудиофронтенд с частотой 50 Гц, эргодический Transformer-энкодер с ограниченным вниманием по скользящему окну и авторегрессионный декодер. Поддерживается только английский язык; перевод, многоязычная обработка, автоматическое определение языка и временные метки не поддерживаются. Доступны варианты F32 размером 178 МБ, F16 размером 90 МБ и Q8_0 размером 50 МБ. Сильными сторонами модели являются потоковая обработка, небольшой размер, пригодность для CPU и edge-устройств, а также близкое соответствие эталонной реализации Hugging Face. Для LibriSpeech test-clean заявлен показатель WER около 4,52–4,53%. Ограничения включают работу только с английской речью, отсутствие перевода и временных меток, необходимость входного аудио 16 кГц mono WAV и отсутствие поставляемых вариантов Q6_K, Q5_K_M и Q4_K_M. Модель распространяется по лицензии MIT, унаследованной от базовой модели UsefulSensors/moonshine-streaming-tiny.

ssc-aln-mms-model-mix-adapt-max — модель распознавания речи на базе архитектуры wav2vec2 с выходной головой CTC, разработанная автором репозитория. По README, модель обучена с нуля на неизвестном наборе данных. Она предназначена для преобразования аудио в текст; в карточке приведены результаты оценки: CER 0,2065, WER 0,5208 и loss 1,0180. Модель содержит 1,3 млрд параметров, сохранена в формате safetensors и использует библиотеку Transformers. Язык распознавания, состав обучающих данных и условия лицензии в предоставленных материалах не раскрыты. Поэтому приведённые метрики нельзя переносить на конкретные языки или сценарии без дополнительной проверки.

Vaakya‑Open — модель синтеза речи Voxaura Labs на базе авторегрессионной архитектуры Orpheus TTS и Llama с 3,3 млрд параметров. Она преобразует текст в дискретные аудиотокены, которые декодируются кодеком SNAC в монофоническую речь WAV, PCM 16 бит, 24 кГц. Модель рассчитана на английский, хинди и их смешение (Hinglish); контекст — до 131 072 токенов. Модель предназначена для озвучивания длинных текстов, аудиокниг, видео, подкастов, образовательных материалов, голосовых помощников и IVR, а также напоминаний для пациентов и средств доступности. В карточке заявлены естественное звучание женского голоса, стабильность на длинных фрагментах и пригодность для пакетной и низколатентной генерации. Доступен один голос без переключения между дикторами и выбора голоса; управление эмоциями пока не предоставляется. Поддерживаются только английский и хинди, включая смешанную речь. Лицензия — Apache-2.0.

Voxtral Mini 4B Realtime 2602 — мультиязычная модель распознавания речи в реальном времени от Mistral AI, опубликованная на Hugging Face организацией RedHatAI. Она преобразует потоковое аудио в текст и рассчитана на транскрибацию с низкой задержкой; в README рекомендуют задержку 480 мс. Модель построена на плотной архитектуре VoxtralRealtimeForConditionalGeneration и дообучена на базе mistralai/Ministral-3-3B-Base-2512. Весовая версия в формате safetensors поддерживается vLLM; README также указывает поддержку в Transformers начиная с версии 5.2.0. Модель предназначена для потоковой расшифровки аудио, включая длинные записи: для vLLM по умолчанию указан максимальный контекст 131072 токена, что соответствует примерно трём часам. В тесте Fleurs средняя частота ошибок слов при задержке 480 мс составила 8,72%; показатели различаются по языкам. Для запуска в BF16 требуется одна GPU с памятью от 16 ГБ. Модель поддерживает английский, французский, испанский, немецкий, русский, китайский, японский, итальянский, португальский, нидерландский, арабский, хинди и корейский языки. Лицензия — Apache-2.0. README отмечает, что из-за новой архитектуры официальная поддержка на момент карточки доступна в vLLM, а интеграции в другие среды перечислены как непроверенные.

infinitejoy/wav2vec2-large-xls-r-300m-arabic — модель распознавания речи, полученная дообучением facebook/wav2vec2-xls-r-300m на арабской части набора Mozilla Common Voice 7.0. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC семейства wav2vec2, число параметров — около 402,8 млн. Модель предназначена для автоматической транскрипции арабской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка описывает оценивание на тестовой выборке Common Voice 7, но метрики WER и loss приведены как NA. Поэтому по карточке нельзя оценить точность распознавания или устойчивость модели на других акцентах, условиях записи и типах речи.

wav2vec2-large-xls-r-300m-georgian — модель распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная infinitejoy на грузинском наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - KA. Она преобразует аудиозаписи речи в текст и подходит для транскрибирования грузинской речи. Репозиторий содержит веса PyTorch; в метаданных указано 402,7 млн параметров. Базовая модель — facebook/wav2vec2-xls-r-300m. На оценочной выборке указаны Loss 0,3666 и WER 0,4211. Модель распространяется по лицензии Apache-2.0.

DrishtiSharma/wav2vec2-large-xls-r-300m-pa-IN-dx1 — модель распознавания речи на архитектуре wav2vec2, дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 8.0 для пенджабского языка, региональный вариант pa-IN. Она преобразует аудио в текст и предназначена для автоматической транскрибации пенджабской речи. В метаданных указано 402,7 млн параметров; модель использует PyTorch и формат весов PyTorch. На тестовой выборке Common Voice 8.0 автор сообщает WER 0,4755 и loss 1,0855. Лицензия — Apache-2.0.

Модель infinitejoy/wav2vec2-large-xls-r-300m-slovak — дообученная версия facebook/wav2vec2-xls-r-300m для распознавания словацкой речи. Она использует архитектуру Wav2Vec2ForCTC и обучена на словацкой части набора Mozilla Common Voice 7.0. Модель принимает аудио и преобразует речь в текст; в карточке приведены результаты оценки на тестовой выборке: WER 0,2481 и loss 0,2915. Модель подходит для транскрибирования записей и голосовых высказываний на словацком языке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает условия записи и оценки подробно, поэтому качество на других типах аудио по указанным метрикам определить нельзя.

Модель qinyue/wav2vec2-large-xlsr-53-chinese-zn-cn-aishell1 — дообученная на китайском языке версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи. Она использует архитектуру Wav2Vec2 с CTC-декодером и содержит 407,1 млн параметров; для распознавания принимает аудио с частотой дискретизации 16 кГц и выдаёт текст на китайском языке. На тестовой выборке AISHELL-1 указана частота ошибок слов WER 7,04%; с языковой моделью — 3,96%. Модель распространяется по лицензии Apache-2.0.

facebook/wav2vec2-large-xlsr-53-italian — модель распознавания итальянской речи, опубликованная Facebook. Она основана на архитектуре Wav2Vec2 с выходной головой CTC и примерно 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на итальянском языке в текст; в карточке приведена оценка на тестовой части Common Voice для итальянского языка — 22,1%. Репозиторий содержит веса PyTorch и Flax. Модель подходит для расшифровки записей и оценки систем распознавания итальянской речи. Лицензия — Apache-2.0. Результат оценки приведён без пояснения метрики, поэтому по карточке нельзя определить, означает ли 22,1% ошибку или другую величину качества.

cahya разработал модель автоматического распознавания турецкой речи, дообучив facebook/wav2vec2-large-xlsr-53 на наборе Common Voice для турецкого языка. Модель построена на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на турецком языке в текст. Для работы входную речь следует подавать с частотой дискретизации 16 кГц; карточка приводит результат оценки 21,13% на тестовой части турецкого Common Voice. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.

NbAiLab/wav2vec2-xls-r-1b-npsc-bokmaal — дообученная модель распознавания речи на базе facebook/wav2vec2-xls-r-1b, созданная NbAiLab на датасете NbAiLab/NPSC, подвыборке 16K_mp3_bokmaal. Модель использует архитектуру wav2vec2 с CTC-декодированием, принимает аудио и преобразует речь в текст. В метаданных указано 1,3 млрд параметров; веса представлены в формате PyTorch. Модель предназначена для автоматической транскрипции речи на норвежском букмоле. Для оценки на тестовой выборке автор приводит WER 0,0966 и loss 0,1598. Лицензия — Apache-2.0. Подробности о других условиях записи, поддерживаемых языках и ограничениях применения в карточке не приведены.

Baybars/wav2vec2-xls-r-300m-cv8-turkish — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на турецкой части датасета Common Voice. Это архитектура Wav2Vec2 с CTC-декодированием; метаданные указывают 402,7 млн параметров и формат PyTorch. Модель принимает аудио и преобразует речь в текст на турецком языке. Модель предназначена для автоматической транскрипции турецкой речи, в том числе записей в сценариях, похожих на Common Voice. В README приведены результаты на тестовом наборе: WER 0,3098 и CER 0,0764. Для языкового декодирования также описана n-граммная модель KenLM, обученная на статьях турецкой Википедии; она упоминается отдельно от основного чекпойнта. Модель распространяется по лицензии Apache-2.0. Оценка качества приведена для конкретного набора данных и не гарантирует таких же результатов на других акцентах, условиях записи или типах аудио; README не содержит подробностей о таких ограничениях.

Это модель автоматического распознавания речи на турецком языке, созданная mpoyraz дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру wav2vec2 с выходным слоем CTC и принимает аудио, преобразуя речь в текст. Модель дообучена на проверенной части Common Voice 8.0 на турецком языке; для языкового моделирования также подготовлена n-граммная модель KenLM на статьях турецкой Википедии. Модель предназначена для транскрибирования турецкой речи. В карточке приведены результаты оценки: WER 10,61 и CER 2,67 на тестовой части Common Voice 8.0, а также WER 36,46 и CER 12,38 на Speech Recognition Community dev data. Лицензия — Apache 2.0. Показатели зависят от набора данных и условий записи; на втором наборе ошибок заметно больше.

patrickvonplaten/wavlm-libri-clean-100h-base-plus — модель распознавания речи, разработанная на основе WavLM Base Plus от Microsoft и дообученная на чистой части датасета LibriSpeech для автоматического распознавания речи. Это аудиомодель с архитектурой WavLMForCTC и 113,3 млн параметров; репозиторий содержит веса PyTorch. Модель преобразует речь в текст и подходит для транскрибирования аудиозаписей, в частности речи из сценариев, похожих на LibriSpeech. В карточке приведены результаты оценки на тестовой выборке: loss 0,0819 и WER 0,0683. Сведения о поддерживаемых языках, ограничениях применения и лицензии в предоставленных источниках отсутствуют.

Карточка модели mehdipakdel/wh на Hugging Face совпадает с карточкой AmirMohseni/whisper-small-persian, поэтому описание составлено по ней. Whisper Small Persian — модель распознавания речи, созданная Amir Mohseni дообучением openai/whisper-small на наборе данных Fleurs Farsi. Она построена на архитектуре Whisper и содержит 153,1 млн параметров. Модель предназначена для преобразования речи на персидском языке в текст. На приведённой в карточке оценке модель показала значение WER 25,8171 и loss 0,3818. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает ограничения применения и условия оценки подробнее.

Sadegh Karimi дообучил Whisper Base на наборе Common Voice 20.0 для автоматического распознавания речи на фарси. Модель на архитектуре Whisper содержит 51,7 млн параметров и рассчитана на преобразование входящего аудио в текст; в метаданных указана задача automatic-speech-recognition. На тестовой выборке автор сообщает значение WER 10,3712 и loss 0,0813. Модель можно применять для транскрибации записей и голосовых сообщений на фарси. Репозиторий также содержит вариант ggml для запуска через whisper.cpp. Модель распространяется по лицензии Apache-2.0.

Xenova/whisper-base.en — версия модели OpenAI Whisper base.en, подготовленная сообществом Xenova в формате ONNX для работы с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибации аудио на английском языке, в том числе непосредственно из JavaScript-приложений и веб-среды. Ключевая особенность модели — ONNX-веса, обеспечивающие совместимость с Transformers.js и сценариями веб-инференса. README не содержит точных сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях помимо аудио или количественных показателях качества. Сильной стороной является удобная интеграция с JavaScript и возможность обработки аудио по URL; ограничением выступает специализация на английской речи и зависимость от поддержки ONNX и Transformers.js. Модель распространяется по лицензии Apache-2.0.

Whisper Base Hindi — дообученная на датасете Mozilla Common Voice 16.0 для хинди модель распознавания речи. Она основана на архитектуре Whisper и содержит 51,7 млн параметров. Модель принимает аудио и преобразует речь на хинди в текст; для оценки на тестовой выборке указана ошибка слов (WER) 28,649 и loss 0,4679. Модель предназначена для транскрибирования записей и голосовых сообщений на хинди. Веса опубликованы в формате Safetensors. Лицензия — Apache-2.0.

Whisper Base Indonesian — дообученная модель OpenAI Whisper Base, созданная для распознавания индонезийской речи в аудио. Она основана на архитектуре Whisper и содержит 51,7 млн параметров. Модель обучена на индонезийской части Common Voice 16.0 и предназначена для преобразования речи в текст. На тестовой выборке указаны loss 0,4198 и WER 26,6078. Это значение WER следует учитывать при оценке пригодности модели для конкретной аудиозаписи и сценария. Модель принимает аудио и выдаёт распознанный текст; лицензия — Apache 2.0.

C1Tech разработала модель распознавания персидской речи на архитектуре Whisper, дообучив её на крупном пользовательском наборе данных на персидском языке. Модель преобразует аудио в текст и предназначена для задач автоматического распознавания речи на персидском языке. В README заявлены 74 млн параметров и высокие результаты на тестах Common Voice и FLEURS по сравнению с рядом крупных моделей. Метаданные репозитория указывают 51,7 млн параметров; поэтому точный размер модели расходится между источниками. Для использования подходит библиотека Transformers, веса доступны в формате safetensors. Лицензия — Apache-2.0.

Mohammed Nasri дообучил модель OpenAI Whisper Large на наборе Common Voice 11.0 для распознавания арабской речи. Это плотная модель архитектуры Whisper с 905,2 млн параметров, представленная в формате PyTorch. На оценочной выборке автор сообщает значение WER 15,9259 и loss 0,1784. Модель принимает аудио и генерирует текстовую расшифровку; карточка не описывает дополнительные сценарии или ограничения качества. Лицензия — Apache-2.0.

steja/whisper-large-persian — дообученная версия Whisper large-v2-hi для автоматического распознавания персидской речи. Модель разработана на основе anuragshas/whisper-large-v2-hi и дообучена на персидской части набора Mozilla Common Voice 11.0. Это плотная модель Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров. Модель принимает аудио и генерирует распознанный текст на персидском языке. На тестовой выборке указаны значения loss 0,3047 и WER 26,3679. Репозиторий содержит веса PyTorch; модель распространяется по лицензии Apache-2.0.

Scrya/whisper-large-v2-cantonese — дообученная модель распознавания речи на базе OpenAI Whisper Large V2. Она обучена на разделах train и validation датасета Mozilla Common Voice 11.0 и предназначена для преобразования кантонской речи в текст. Модель использует архитектуру Whisper с 905,2 млн параметров; для оценки указана метрика CER 6,2133 на тестовой выборке Common Voice 11.0. Модель принимает аудио и выдаёт текст. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Карточка не описывает ограничения по качеству, шуму или условиям записи.

vumichien/whisper-large-v2-mix-jp — дообученная пользователем vumichien модель распознавания речи на базе OpenAI Whisper large-v2. Она предназначена для преобразования японской речи в текст; дообучение проведено на наборе vumichien/preprocessed_jsut_jsss_css10_common_voice_11. Архитектура WhisperForConditionalGeneration, около 905,2 млн параметров. В README приведены результаты оценки: WER 7,6453 и CER 4,7187, но описание тестового набора и условий оценки отсутствует. Модель принимает аудио и выдаёт текст. Распространяется по лицензии Apache-2.0.

Whisper Large v2 PL — модель автоматического распознавания речи, созданная дообучением openai/whisper-large-v2 на датасете Common Voice 11.0. Она использует архитектуру Whisper и содержит около 905,2 млн параметров. Модель предназначена для преобразования польской речи в текст; в карточке указана метрика WER 6,9125 на наборе оценки. Модель принимает аудио и выдаёт текст. Она распространяется в формате PyTorch по лицензии Apache-2.0. Подробности об условиях записи аудио, поддержке других языков и ограничениях в карточке не приведены.

Mozilla.ai представила дообученную версию OpenAI Whisper large-v3 для распознавания речи на бенгальском языке. Модель использует архитектуру WhisperForConditionalGeneration, содержит около 905,2 млн параметров и принимает аудио, выдавая текст. Она создана на 21 409 аудиозаписях бенгальской части корпуса Common Voice 21.0; после дообучения опубликованы улучшенные показатели ошибок распознавания по сравнению с исходной Whisper large-v3 на бенгальском наборе.

Whisper Large v3 Nepali — модель распознавания речи, созданная Кира́ном Пантхой путём дообучения openai/whisper-large-v3 на сбалансированном наборе OpenSLR54 для непальского языка. Модель содержит 905,2 млн параметров и использует архитектуру Whisper; она принимает аудио и преобразует речь в текст. Подходит для транскрибации непальской речи. В README приведены результаты оценки на тестовой выборке: WER 18,725 и CER 4,4861. Репозиторий распространяется по лицензии Apache-2.0.

Whisper large-v3-Persian — дообученная модель распознавания речи, созданная Mohammad Khosravi на основе openai/whisper-large-v3. Она принимает аудио и генерирует текстовую транскрипцию на персидском языке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors для библиотеки Transformers. Модель дообучена на наборе Common Voice 11.0. В README приведён результат на тестовой выборке: WER 26,8658 и loss 0,2444. Репозиторий распространяется по лицензии Apache-2.0.