I.9Аудио и музыка

Whisper Hinglish Preview — модель распознавания речи на основе Whisper large-v3, разработанная Trelis и специализированная для хинглиша: речи с переключением между хинди и английским. Она также предназначена для транскрибации преимущественно хинди и английской речи; архитектура — WhisperForConditionalGeneration, размер — 905,3 млн параметров. Модель принимает аудио и выдаёт текст. Для заявленного качества автор рекомендует явно задавать язык распознавания в стандартном интерфейсе Whisper. Внутренние оценки автора показывают улучшение относительно исходных Whisper large-v3 и Vaani на ряде тестов хинглиша и хинди, но не лидерство на всех наборах; результаты получены по собственному протоколу нормализации и сопоставления. Это исследовательская предварительная версия, и веса или результаты могут измениться. Модель распространяется по лицензии Apache-2.0.

drewschaub/whisper-large-v3-japanese-4k-steps — дообученная модель автоматического распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для транскрибации японской речи в текст и обучена на Common Voice 16.1; модель содержит 905,2 млн параметров и распространяется в формате Safetensors по лицензии Apache-2.0. Обучение продолжалось 4000 шагов на Google Colab с A100. В README указаны оценка loss 0,4057 и WER 18,2149; автор также сообщает, что validation loss и WER росли в ходе обучения, что указывает на переобучение и может ограничивать качество распознавания. Модель принимает аудио и выдаёт текст.

Это LoRA-дообучение модели OpenAI Whisper Large v3 Turbo, опубликованное annotehrushi. Модель предназначена для автоматического распознавания речи и особенно адаптирована к хинди на данных MonsoonASR. Она принимает аудио и преобразует речь в текст; в карточке также приведены результаты на англоязычных и других тестах распознавания. Адаптер обучен с параметрами LoRA r=32 и alpha=64. В README указаны результаты на бенчмарках, включая OIWER 22,82% на Monsoon hi-IN; там же сообщается о снижении показателя ошибки относительно базовой модели. В метаданных указаны форматы safetensors, библиотека Transformers и лицензия Apache-2.0. Результаты зависят от набора данных и условий оценки; на части тестов показатели после дообучения ухудшились, поэтому качество на других языках и типах речи может отличаться.

Модель разработана Blgn94 для автоматического распознавания монгольской речи. Это дообученная на LoRA модель OpenAI Whisper Large v3 Turbo; адаптер объединён с базовыми весами, поэтому модель можно использовать как обычную Whisper-модель без PEFT. Она принимает аудио и выдаёт текстовую транскрипцию на монгольском языке кириллицей. Размер базовой модели — 809 млн параметров, библиотека для использования — Transformers. Модель предназначена для транскрибирования преимущественно чистой, заранее прочитанной монгольской речи. В сравнении на случайной выборке из 200 клипов Common Voice она показала WER 27,4% и CER 11,0%; автор отмечает, что эти результаты ориентировочные и не получены на полном валидационном наборе. Обучение проведено на примерно 57 тысячах аудиозаписей из Common Voice, FLEURS и MBSpeech. Модель хуже подходит для спонтанной разговорной речи, шумных записей, выраженных диалектов и телефонного аудио с полосой 8 кГц. Она обучена на транскрипциях только кириллической монгольской письменностью; оценка ошибки ещё снижалась к концу обучения. Лицензия — Apache-2.0.

crossdelenna/whisper_med_alex.en — дообученная модель распознавания речи на базе Whisper, опубликованная пользователем crossdelenna. Она предназначена для преобразования аудио в текст; название указывает на английскую версию, а карточка сообщает о дообучении на наборе данных, который не описан. Архитектура — WhisperForConditionalGeneration, размер — 455,8 млн параметров; для работы используется Transformers, веса опубликованы в формате safetensors. В README приведён результат оценки WER 5,3233 и loss 0,0002, однако набор данных и условия оценки не раскрыты, поэтому эти цифры не позволяют надёжно судить о качестве на других аудиозаписях. Модель распространяется по лицензии Apache-2.0.

Модель dianavdavidson/whisper-medium_mucs_63022_ratio_25_45_lr_1e-4_lgid_hi_hinglish_mixed_scripts_FT — дообученная версия OpenAI Whisper medium для автоматического распознавания речи и преобразования аудио в текст. Архитектура WhisperForConditionalGeneration содержит 455,8 млн параметров; модель использует библиотеку Transformers и опубликована в формате safetensors. Название указывает на настройку для хинди и хинглиша со смешанными системами письма, однако README не раскрывает датасет или подробные языковые настройки. На оценочной выборке указаны loss 0,4777 и Global WER 28,2969. Модель распространяется по лицензии Apache-2.0.

lorenzoncina/whisper-medium-zh — модель распознавания речи, полученная дообучением Whisper Medium от OpenAI на китайской части набора Mozilla Common Voice 11.0 (zh-CN). Она предназначена для преобразования китайской речи в текст. В карточке приведены результаты оценки: loss 0,3226 и CER 10,9782. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Она принимает аудио и выдаёт текст; в метаданных указан китайский язык. Весы представлены в формате PyTorch. Модель распространяется по лицензии Apache-2.0.

Hhsjsnns/whisper-small-hinglish — дообученная версия Whisper Small от OpenAI для автоматического распознавания речи. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и принимает аудио, выдавая текстовую транскрипцию. В метаданных указана поддержка хинди и английского языков; модель дообучена на Common Voice 13.0. Модель подходит для транскрибирования речи на хинди и английском, в том числе смешанной хинглиш-речи. Опубликована в формате safetensors для Transformers и распространяется по лицензии Apache-2.0. README не содержит подробностей об оценке качества и специфических ограничениях модели.

Wellyowo/whisper-tiny-zh-tw — дообученная версия Whisper Tiny, опубликованная Wellyowo и обученная на наборе Common Voice 13.0. Модель предназначена для автоматического распознавания речи и выдачи текстовой расшифровки. Это плотная модель архитектуры Whisper с 29,4 млн параметров; репозиторий содержит веса в формате Safetensors. В карточке приведены результаты оценки: WER 59,22 и орфографический WER 60,0. Модель рассчитана на китайский язык (Тайвань) согласно названию репозитория. Лицензия — Apache-2.0.

IbrahimDayax/xls-r-1b-somali-stt-asr — модель распознавания сомалийской речи в текст, разработанная IbrahimDayax как дообучение facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2 XLS-R с CTC-головой и содержит около 1,3 млрд параметров по метаданным. Модель принимает аудио и выдаёт текст; она предназначена для автоматического распознавания сомалийской речи, а не для синтеза речи. В README для нормализованного текста на проверенной выборке из 781 примера указаны WER 6,83% и CER 1,42%. Авторы сообщают о сравнении с другими публичными сомалийскими ASR-моделями, отмечая, что обучающие данные включали обучающую часть источника, из которого взята тестовая выборка. Модель выпущена под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

NVIDIA NeMo Canary Flash — многоязычная модель распознавания речи и перевода речи, построенная на архитектуре Canary. Модель содержит 182 млн параметров: кодировщик FastConformer с 17 слоями и декодер Transformer с 4 слоями. Для работы используется библиотека NVIDIA NeMo. Модель распознаёт речь на английском, немецком, французском и испанском языках. Она также переводит речь с английского на немецкий, французский и испанский, а с этих языков — на английский; доступно оформление текста с пунктуацией и заглавными буквами. Экспериментальная функция добавляет временные метки слов и сегментов. Заявленная скорость превышает 1200 RTFx на наборах OpenASR Leaderboard. Модель принимает монофонические аудиофайлы WAV или FLAC с частотой 16 кГц и выдаёт текст, при выбранном режиме — с временными метками. Для длинных записей, превышающих примерно 40 секунд, NeMo предоставляет обработку по частям. В карточке также отмечено, что выходной текст может требовать обратной нормализации и что специальные символы не обрабатываются. Лицензия CC-BY-4.0 допускает коммерческое использование.

CantoCaptions Cantonese ASR — модель распознавания речи, созданная дообучением Qwen3-ASR на подмножестве датасета CantoCaptions. Она предназначена для транскрибации кантонской речи в письменный кантонский язык с оформлением по стандартам CantoCaptions, которые учитывают принятые варианты написания из словаря words.hk. Частицы в конце предложения, например 啦, 喇 и 嗱, записываются раздельно с учётом тона. Модель построена на Qwen3-ASR-1.7B и обучалась с LoRA ранга 128 в течение одной эпохи примерно на 75 часах обучающего аудио. В README указаны ещё 4 часа dev- и 4 часа тестового аудио из того же датасета. Разработчик характеризует её как раннюю версию, которая может обновляться. Модель распространяется по лицензии Apache-2.0.

ghofrani/common7 — модель распознавания речи на базе архитектуры Wav2Vec2, дообученная на персидской части набора Mozilla Common Voice 7.0. Она принимает аудио и преобразует речь в текст; подходит для автоматической транскрипции персидской речи. Модель содержит 402,8 млн параметров и опубликована в формате PyTorch. На оценочном наборе указаны значение функции потерь 0,3448 и WER 0,3478. README не приводит дополнительных сведений о сценариях применения или обучающих данных. Лицензия в предоставленных материалах не указана.

charsiu/en_w2v2_ctc_libris_and_cv — модель автоматического распознавания речи, опубликованная пользователем charsiu на Hugging Face. Она предназначена для преобразования английской речи в текст и может использоваться через Transformers как модель AutoModelForCTC или в pipeline automatic-speech-recognition. Модель основана на архитектуре wav2vec2, использует PyTorch и библиотеку Transformers. Название указывает на обучение на данных LibriSpeech и Common Voice, однако точные размер, конфигурация архитектуры, параметры контекста, поддерживаемые варианты английского языка, метрики качества и ограничения в карточке модели не описаны. Лицензия также не указана, поэтому условия использования по доступным данным установить нельзя.

GRIOT-ASR-W-0.8-ALL — мультиязычная модель автоматического распознавания речи от Bivariant, ориентированная на африканские языки. Она построена на архитектуре Whisper с отдельными лёгкими адаптерами для языков; репозиторий распространяет веса в формате Safetensors и предназначен для работы через Transformers. Модель преобразует аудио в текст, включая естественную разговорную речь. Для языков, прошедших проверку, заявлена точная передача диакритических знаков. Карточка сообщает о проекте для 18 языков, но адаптеры публикуются постепенно: доступны, в частности, баатону, эве и фон, а для некоторых языков опубликованы предварительные версии. Приведённые CER и WER относятся к отдельным тестовым наборам и не обязательно сопоставимы между языками. Для смены языка требуется заново загрузить модель с соответствующим адаптером и токенизатором. Модель распространяется по лицензии Apache-2.0.

IndicConformer-600M-Multi — многоязычная модель распознавания речи от AI4Bharat. Она преобразует аудио в текст на 22 официальных языках Индии и предназначена для транскрибирования устной речи. Модель основана на архитектуре Conformer и сочетает методы CTC и RNNT; размер составляет 600 млн параметров. Доступны оба способа декодирования: CTC и RNNT. Репозиторий содержит модель в формате ONNX, а лицензия — MIT.

IndicWav2Vec-Hindi — модель распознавания речи на основе архитектуры Wav2Vec2, разработанная AI4Bharat. Она предназначена для преобразования аудиоречи на хинди в текст и подходит для сценариев автоматической транскрибации. Модель обучена в fairseq и перенесена в формат Hugging Face; репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель распознаёт речь на хинди. Для неё отмечено ограничение: вывод при инференсе с языковой моделью не поддерживается, что может ограничивать улучшение транскрипции с помощью языкового декодирования.

KalemaTech-Arabic-STT-ASR-based-on-Whisper-Small — дообученная Salama1429 модель распознавания речи на архитектуре Whisper Small. Она преобразует арабскую речь в текст и предназначена для автоматической транскрипции аудиозаписей. Модель дообучена на Common_Voice_Arabic_12.0_Augmented; в README приведён результат оценки WER 58,5848 на тестовом наборе. Размер составляет 153,1 млн параметров, формат весов — PyTorch. Лицензия — Apache-2.0. Модель подходит для транскрипции арабской речи, в частности аудио, близкого по характеристикам к обучающим данным Common Voice. Значение WER указывает на заметные ошибки распознавания, поэтому качество транскрипции следует проверять для конкретной записи и сценария. Карточка не сообщает о дополнительных режимах работы или иных входных модальностях.

Это дообученная модель распознавания речи на основе openai/whisper-small, разработанная пользователем simran14. Она предназначена для преобразования аудио в текст на маратхи и обучена на наборе Common Voice 11.0. Модель использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров. Репозиторий опубликован в формате safetensors; лицензия — Apache-2.0. Базовая Whisper поддерживает несколько языков, но сведения о качестве распознавания, длине аудио и результатах оценки этой версии не приведены.

Карточка модели anas89ji/Ming-flash-omni-Preview на Hugging Face совпадает с карточкой inclusionAI/Ming-flash-omni-Preview, поэтому описание составлено по ней. Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.

Moonshine Base Korean — модель распознавания речи, разработанная Useful Sensors и предназначенная для транскрибации корейской речи. Она относится к семейству Moonshine и использует архитектуру последовательность-в-последовательность с условной генерацией; в репозитории указаны веса в формате Safetensors. Метаданные относят модель к корейскому языку и задаче автоматического распознавания речи. В карточке семейства Moonshine описаны модели компактного размера для транскрибации в условиях ограниченных ресурсов, однако приведённые там параметры относятся к английским моделям и не подтверждают размер этой корейской версии. Модель принимает аудио и выдаёт текстовую расшифровку. Она подходит для создания корейских субтитров, расшифровки записей и приложений транскрибации речи в реальном времени. Карточка предупреждает, что генерация может содержать слова, которых не было в аудио, а также повторяющийся текст; особенно это возможно на коротких фрагментах и при обрезанных словах. Перед внедрением требуется оценка качества на целевых данных. Лицензия указана как other, без уточнения условий в предоставленных сведениях.

Moonshine Streaming Small — Spanish — это модель распознавания испанской речи от Moonshine AI. Она транскрибирует аудио по мере поступления, не дожидаясь окончания высказывания, и рассчитана на локальный запуск на устройствах с ограниченными ресурсами. По метаданным, модель содержит 48,2 млн параметров; карточка описывает потоковую архитектуру с аудиофронтендом 50 Гц и оконным Transformer-энкодером. Модель доступна в формате Safetensors, работает через Transformers и поддерживает контекст до 4096 токенов. Обучение сочетает небольшую коллекцию человеческих расшифровок и крупный испаноязычный корпус с автоматически созданными псевдоразметками. В оценке на двух наборах чтения WER составил около 4,9%, однако эти результаты не характеризуют спонтанную речь, телефонные записи и тяжёлые диалекты. Возможны ошибки в именах, числах и переключении языков, а на коротких или шумных фрагментах — зацикливание текста. Для корректной потоковой работы при обработке нужно передавать attention mask. Лицензия — MIT.

Moonshine Streaming Tiny — Arabic — модель распознавания арабской речи с потоковой расшифровкой, разработанная командой Moonshine AI. В метаданных указано 13,8 млн параметров; README сообщает о 27 млн, поэтому размер в источниках расходится. Модель использует временной аудиофронтенд с частотой 50 Гц и Transformer-энкодер со скользящими окнами, а также декодер; она выдаёт текст постепенно, не дожидаясь окончания аудиофрагмента. Заявленное применение — запуск на устройствах с ограниченными ресурсами. Модель обучена на автоматически размеченных арабских подкастах, видео и других аудиозаписях; транскрипты получены от модели-учителя семейства Whisper и не проверялись людьми для большей части данных. README приводит результаты на выборке из 400 фрагментов Common Voice и FLEURS, но предупреждает, что это не полная оценка арабского языка и что диалекты отдельно почти не измерялись. Среди ограничений — ошибки в именах, числительных и переключении языков, повторения на коротких или шумных фрагментах и слабая проверенность в телефонных и дальнеполевых условиях. Лицензия — MIT.

Moonshine Streaming Tiny — это компактная модель автоматического распознавания речи (ASR), разработанная UsefulSensors и представленная здесь в формате GGUF для использования с CrispStrobe/CrispASR. Репозиторий содержит только конвертации и квантованные варианты исходной модели, без дообучения, дистилляции или изменения архитектуры и возможностей. Модель предназначена для потоковой транскрипции английской речи с низкой задержкой, в том числе на периферийных устройствах. Она использует потоковую архитектуру encoder-decoder: фронтенд обрабатывает необработанный аудиосигнал без mel-спектрограмм, encoder применяет sliding-window Transformer, а autoregressive decoder формирует текст. Архитура включает по 6 слоёв encoder и decoder с размерностью 320, SiLU-gated MLP и частичным RoPE; поддерживается упреждение 80 мс. Размер модели — около 34 млн параметров. Доступны вариант F32 размером 168 МБ и квантованный Q4_K размером 31 МБ. Квантованный вариант требует меньше памяти и лучше подходит для устройств с ограниченными ресурсами, но README не приводит количественную оценку влияния квантования на качество. Модель поддерживает только английский язык; сведения о точности, обучающих данных и других ограничениях в карточке не указаны. Для работы требуется файл tokenizer.bin в той же директории, что и модель. Лицензия — MIT.

Moonshine-Tiny-FR — компактная модель распознавания французской речи, созданная дообучением UsefulSensors/moonshine-tiny. Она принимает монофоническое аудио с частотой 16 кГц и выдаёт французскую текстовую расшифровку. Модель содержит 27 млн параметров и использует архитектуру Moonshine: свёрточное извлечение признаков, Transformer-блоки в энкодере и авторегрессионный Transformer-декодер. Указанная длина контекста — 194 токена. Модель предназначена для транскрибации аудиофайлов и речи в реальном времени, голосовых команд, средств доступности и запуска на мобильных и периферийных устройствах. В README приведены результаты оценки на французском тестовом наборе Multilingual LibriSpeech: WER 21,8% и скорость около девяти раз быстрее реального времени на CPU. Лицензия — MIT. По описанию, модель лучше работает на аудиокнигах и стандартном французском произношении; региональные акценты, сильный фоновый шум и очень короткие записи могут ухудшать распознавание. Возможны повторы и галлюцинации текста, особенно при жадном декодировании. Авторы отмечают, что это proof of concept и что для большей надёжности нужны дополнительные улучшения данных.

Moonshine Tiny VI — модель распознавания речи семейства Moonshine, разработанная Moonshine AI (ранее Useful Sensors). Это компактная seq2seq-модель с 27 млн параметров, предназначенная для транскрибации вьетнамской речи в текст на вьетнамском языке. Репозиторий содержит веса Safetensors; модель поддерживается библиотекой Transformers. Разработчик ориентирует её на системы транскрибации в реальном времени, работающие на устройствах с ограниченными памятью и вычислительными ресурсами. В карточке приведены результаты оценки на Fleurs и Common Voice 17. Модель может быть полезна для создания субтитров, расшифровки записей и голосовых интерфейсов на вьетнамском языке. Возможны галлюцинации — текст, отсутствующий в аудио, — и повторение фрагментов; проблемы могут быть заметнее на коротких или обрезанных записях. Карточка рекомендует проверять качество в целевом сценарии и не использовать модель для субъективной классификации людей или решений с высокими последствиями. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

Moonshine Tiny ZH — модель распознавания речи с архитектурой encoder-decoder на 27 млн параметров, разработанная Moonshine AI, ранее известной как Useful Sensors. Она преобразует аудио китайской речи в текст и рассчитана на разработчиков систем транскрибации, в том числе для устройств с ограниченными памятью и вычислительными ресурсами. Модель поддерживается библиотекой Transformers; в репозитории опубликованы веса в формате Safetensors, а размер контекста составляет 194 токена. Модель обучалась на китайской речи и предназначена прежде всего для автоматической транскрибации; карточка также называет её моделью для перевода речи, но описывает обучение и оценку главным образом для распознавания китайского языка. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией репозитория. Возможны галлюцинации и повторяющиеся фрагменты, особенно на коротких записях и аудио с обрезанными словами. Перед применением в конкретной предметной области нужна отдельная оценка качества; модель не предназначена для субъективной классификации людей или решений с высокими последствиями.

Qwen3-ASR-1.7B-JA MLX — конвертированная в формат MLX версия модели neosophie/Qwen3-ASR-1.7B-JA для распознавания японской речи. Репозиторий подготовлен для библиотеки mlx-qwen3-asr; веса сохранены в bfloat16 без квантизации. Модель принимает аудио и выдаёт текстовую транскрипцию, в том числе с оформлением результата в формате VTT через соответствующую утилиту. Базовая модель дообучена для более точного распознавания японских имён, названий компаний и редких кандзи. Репозиторий распространяется по лицензии Apache-2.0. Карточка описывает конвертацию весов для MLX, а не отдельное дообучение этой копии.

Whisper-small — модель автоматического распознавания речи, экспортированная в формате ExecuTorch для библиотеки React Native ExecuTorch. Репозиторий поддерживается Software Mansion, а исходной моделью является openai/whisper-small. Предназначена для запуска распознавания речи непосредственно на мобильных и других устройствах через React Native без необходимости использовать серверную инфраструктуру. Доступны варианты для бэкендов Core ML, MLX, Vulkan и XNNPACK с точностью fp16, int8 или fp32. Размер файлов варьируется примерно от 276 МБ для MLX int8 до 1,1 ГБ для XNNPACK fp32. В комплект входят программы ExecuTorch .pte и токенизатор. README не содержит сведений о языках, размере контекста, точной архитектуре или поддерживаемых модальностях сверх назначения для автоматического распознавания речи. Сильными сторонами являются возможность локального выполнения и наличие вариантов, оптимизированных под разные аппаратные бэкенды и уровни точности. Ограничениями выступают значительный размер файлов, зависимость от конкретного бэкенда и версии среды выполнения: модели опубликованы для ExecuTorch v1.4.1, а обратная совместимость с более старыми версиями не гарантируется. Репозиторий распространяется по лицензии Apache-2.0.

Røst-v3-wav2vec2-315m — модель распознавания датской речи, разработанная в Alexandra Institute в рамках проекта CoRal. Это архитектура Wav2Vec2-XLS-R с классификатором CTC, дообученная на датасете CoRal-v3, который включает разговорную и прочитанную вслух речь с разными диалектами, возрастными группами и голосами. По метаданным модель содержит 402,7 млн параметров; в таблицах README для этой версии указано 315 млн. Модель предназначена для преобразования датской речи в текст, в том числе для транскрибирования разговоров и чтения вслух. На оценке CoRal-v3 Character Error Rate составил 13,7% для разговорной речи и 5,9% для прочитанной вслух. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия OpenRAIL, адаптированная под датасет CoRal-v3, допускает коммерческое применение с ограничениями, в частности на синтез речи и биометрическую идентификацию.