I.9Аудио и музыка

Модель kapilkd13/xls-r-300m-hi-prod — дообученная для распознавания речи на хинди версия facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудиозаписей на хинди в текст; обучение проводилось на наборе Mozilla Common Voice 7.0 для хинди. Число параметров — около 402,8 млн. На оценочной выборке указано значение WER 0,434. Модель подходит для транскрибации речи на хинди, однако это значение указывает на заметные ошибки распознавания. Репозиторий содержит веса PyTorch и опубликован по лицензии Apache-2.0.

MigoXV опубликовал конверсию весов NVIDIA Streaming Sortformer v2.1 в формат safetensors для загрузки нативным PyTorch-загрузчиком проекта sortformer-dia. Потоковая модель выполняет диаризацию аудио: определяет до четырёх говорящих и размечает их реплики по ходу поступления сигнала. Транскрипцию речи модель не выполняет. В репозитории сохранены исходные 990 тензоров и конфигурация, необходимая для архитектуры и потоковых параметров. Для запуска нужны реализация модели и среда проекта sortformer-dia; наличие safetensors само по себе не обеспечивает совместимость с Transformers AutoModel. README сообщает, что CUDA может использовать Triton-ядра проекта, а поддержка NPU не проверена. Используются веса NVIDIA по лицензии NVIDIA Open Model License; эта публикация не является официальным выпуском NVIDIA.

itsskofficial/livewhisper-hi-vaani — преобразованная в формат CTranslate2 модель для распознавания речи на хинди и транскрибирования её текстом письмом деванагари. Репозиторий подготовлен для использования с faster-whisper в приложении LiveWhisper для голосового ввода в Windows; в README указаны веса float16 и размер около 3 ГБ. Модель основана на ARTPARK-IISc/whisper-large-v3-vaani-hindi, а автор репозитория сообщает о результатах на FLEURS: WER 10,3% и CER 3,0%, а также точности написания переключений кодов в хинди 96%. Лицензия — Apache-2.0. README уточняет, что репозиторий меняет формат файлов и добавляет необходимые конфигурации faster-whisper; метаданные классифицируют связь с базовой моделью как дообучение.

derkar00 разработал модель распознавания речи на туркменском языке, записанной латиницей. Это дообученная версия facebook/mms-1b-all — многоязычной модели wav2vec2 для распознавания речи более чем на тысяче языков. Архитектура модели — Wav2Vec2ForCTC, размер — 1,3 млрд параметров; она принимает аудио и преобразует речь в текст. Модель предназначена для транскрибирования чистой, разборчивой туркменской речи. Её можно применять для расшифровки записей и голосовых сообщений на туркменском языке. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Moonshine Tiny — LiteRT — компактная модель автоматического распознавания речи, разработанная Moonshine AI, ранее Useful Sensors, и упакованная для выполнения через LiteRT. Модель основана на UsefulSensors/moonshine-tiny и предназначена для быстрой транскрипции английской речи и голосовых команд непосредственно на устройстве. Это encoder-decoder-модель с 27 млн параметров, поддерживающая только аудио и английский язык. Она принимает монофонический аудиосигнал с частотой 16 кГц в формате raw waveform, поэтому отдельное извлечение mel-спектрограмм не требуется. Обработка выполняется окнами по 5 секунд с нулевым дополнением коротких фрагментов; более длинные записи разбиваются на последовательные окна. Доступны варианты float32 и int8 с float32-энкодером, а также заранее скомпилированные варианты для некоторых NPU MediaTek и Qualcomm. К сильным сторонам относятся небольшой размер, возможность локального выполнения, поддержка ускорения на мобильных NPU и отсутствие требования к сетевому соединению. Ограничения включают фиксированное окно контекста 5 секунд, жадное декодирование с максимумом 64 токена на окно и отсутствие KV-кэша, из-за чего время декодирования увеличивается с количеством уже выданных токенов. Репозиторий не содержит tokenizer.json: токенизатор необходимо загрузить из базовой модели. Модель распространяется по лицензии MIT.

Step-Audio-Chat — мультимодальная языковая модель семейства Step1 от StepFun, компонент системы Step-Audio. Она предназначена для понимания и генерации человеческой речи и объединяет распознавание речи, семантическое понимание аудио, диалоговое управление, клонирование голоса и синтез речи. Архитектура — плотная Step1ForCausalLM; метаданные указывают 155,4 млрд параметров, а README — 130 млрд. Модель принимает аудио и текст и предназначена для диалоговых сценариев с речью. Для модели опубликованы веса в формате safetensors. Лицензия — Apache-2.0. Карточка упоминает оценки на аудиотестах, но доступные сведения не содержат конкретных результатов, поэтому качество отдельных функций по ним оценить нельзя.

Модель keystats/w2v-bert-2.0-lingala-main предназначена для автоматической транскрибации речи на языке лингала. Она создана дообучением facebook/w2v-bert-2.0: к многоязычному речевому энкодеру добавлена символьная CTC-голова, обученная на объединённых корпусах Google WaxalNLP и Lingala_100hrs. Модель содержит около 402,7 млн параметров и принимает аудио, выдавая текст. Модель рассчитана на распознавание речи одного говорящего. Текст выводится строчными буквами без пунктуации; для читаемого оформления может потребоваться дополнительная обработка. Точность зависит от акустических условий, качества записи и диалектного охвата обучающих данных. Для повышения качества README рекомендует декодирование с совместимой языковой моделью KenLM keystats/waxal-kenlm-models. Лицензия — Apache-2.0.

Модель abdouaziiz/wav2vec2-xls-r-300m-wolof-lm разработана для распознавания речи на языке волоф. Это дообученная версия facebook/wav2vec2-xls-r-300m с языковой моделью, обученная на речевом корпусе ALFFA_PUBLIC. Архитектура — Wav2Vec2ForCTC; в репозитории указано около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст. Она предназначена для транскрибирования записей на волофе, в том числе речи из Сенегала и соседних стран. В карточке указаны 16,8 часа обучающих данных, разделённых на 10 000 аудиофайлов для обучения и 3 339 для тестирования; результат на наборе оценки — WER 0,212565. Модель распространяется по лицензии MIT. Автор отмечает возможности улучшения распознавания с помощью языковой модели, проверки орфографии и редактирования предложений.

Whisper Kannada Tiny — дообученная OpenAI модель Whisper-Tiny, подготовленная vasista22 в рамках Whisper fine-tuning sprint на общедоступных корпусах речи на каннада. Модель предназначена для автоматического распознавания речи и преобразования аудиозаписей на каннада в текст. Архитектура — WhisperForConditionalGeneration, размер — 29,4 млн параметров. Репозиторий содержит веса PyTorch и Flax; для оценки автор указывает код из проекта whisper-finetune. Обучение проводилось на IISc-MILE Kannada ASR Corpus, ULCA ASR Corpus, Shrutilipi ASR Corpus и обучающей и валидационной выборках Google Fleurs. Лицензия — Apache-2.0.

Модель oddadmix/whisper-large-v3-turbo-arabic-dialectal-v2 разработана oddadmix на основе openai/whisper-large-v3-turbo и дообучена для распознавания разговорной арабской речи разных диалектов. Это модель Whisper с архитектурой encoder-decoder, принимающая аудио и генерирующая текст; в README указано 809 млн параметров. Обучение проводилось на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small: 52 тыс. обучающих и 2,6 тыс. тестовых примеров. Выходной текст не содержит диакритических знаков. Модель предназначена для транскрибации арабской речи, в том числе диалектов стран Персидского залива и Леванта, египетского и иракского. На сбалансированной тестовой выборке указаны WER 0,3324 и CER 0,125; качество заметно различается между диалектами, причём магрибские варианты в README названы наиболее трудными. Репозиторий распространяется по лицензии Apache-2.0.

Модель gcoli/whisper-large-v3-turbo-swiss-german-mit — дообученная на швейцарско-немецких диалектах версия Whisper Large-v3-Turbo от OpenAI. Она преобразует аудиозаписи на швейцарском немецком в текст на стандартном немецком. Модель содержит около 905,2 млн параметров; адаптер LoRA обучен на материалах FHNW/i4ds с лицензией MIT и объединён с весами. Доступны веса safetensors в формате fp16 и вариант CTranslate2 float16; модель рассчитана на запуск через Transformers или faster-whisper. На тестовом наборе из 17 диалектов авторы сообщают WER 25,9% и CER 13,4%; результат лучше исходной Whisper Large-v3-Turbo на 2,8 процентного пункта WER при сопоставимой скорости. Модель подходит для транскрибации швейцарской немецкой речи, в том числе длинных записей, хотя авторы советуют отключать перенос контекста между фрагментами при обработке длинного аудио: иначе возможны ошибки и выдуманный текст. Лицензия модели — MIT, в карточке также заявлена коммерческая применимость.

LWobole/whisper-small-tagalog — дообученная модель семейства Whisper от автора репозитория LWobole, созданная на базе openai/whisper-small и предназначенная для автоматического распознавания речи на тагальском языке. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и опубликована в формате safetensors для Transformers. Модель обучалась на наборе fleurs_fil_ph и оценивается по распознаванию речи; в README приведены loss 0,4392 и WER 16,6557 на оценочной выборке. Она подходит для преобразования тагальской речи в текст. Лицензия — Apache-2.0. Подробности об условиях записи аудио, качестве в разных акустических условиях и иных ограничениях в карточке не раскрыты.

Rahul3215/whisper-small-telugu — дообученная Rahul3215 модель OpenAI Whisper Small для распознавания речи на телугу и преобразования аудио в текст. Она создана на основе openai/whisper-small с использованием Mozilla.ai Blueprint speech-to-text-finetune и обучена на 812 аудиопримерах на телугу. Модель использует архитектуру Whisper и доступна в формате safetensors через библиотеку Transformers. В README приведены результаты до и после дообучения: нормализованный WER снизился с 173,255 до 122,977, а нормализованный CER — со 142,764 до 83,015; значения после обучения всё ещё указывают на заметные ошибки распознавания. Лицензия — Apache-2.0.,

Модель khawajaaliarshad/whisper-small-urdu разработана Khawaja Ali и представляет собой дообученную версию openai/whisper-small на архитектуре Whisper Encoder-Decoder Transformer. Она предназначена для автоматического распознавания урду и преобразования речи в текст; обучающие данные взяты из расширенного набора Mozilla Common Voice Scripted Speech 24.0 на урду. По карточке модели, WER на тестовой части Common Voice составляет около 33%, а на валидационной — 32,80%. Модель содержит 153,1 млн параметров и распространяется в формате safetensors через Transformers. Её можно применять для транскрибации записей на урду, создания голосовых помощников, подготовки субтитров и функций доступности для носителей языка. Для работы требуется монофоническое аудио с частотой дискретизации 16 кГц. Модель лучше работает на чистой записанной речи; точность может снижаться на спонтанной разговорной речи, при незнакомых акцентах и фоновом шуме. Лицензия модели — Apache 2.0.

Это модель автоматического распознавания речи, созданная дообучением openai/whisper-small на корпусе Uyghur Common Voice. Она предназначена для транскрибации аудио на уйгурском языке. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и загружает аудио на входе, выдавая текст. При обучении использованы объединённые обучающая и валидационная части Common Voice 15.0: 11 215 записей продолжительностью около 20 часов. Оценка проведена на тестовой части THUYG20; в карточке указаны WER 28,30%, орфографический WER 42,97% и CER 10,90%. Модель распространяется по лицензии Apache 2.0.

Whisper Small Chinese — дообученная модель xmzhu на базе openai/whisper-small для автоматического распознавания китайской речи. Она принимает аудио и генерирует текст; при дообучении использован китайский вариант набора Common Voice 11.0. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. На оценочной выборке указана частота ошибок слов WER 72,3626 и loss 0,3946. Высокий WER указывает на существенные ошибки распознавания, поэтому качество следует проверять на данных конкретного сценария. Модель распространяется по лицензии Apache-2.0.

biodatlab выпустила дообученную версию OpenAI Whisper Large v2 для распознавания тайской речи. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и распространяется в формате PyTorch. Она обучена на тайской части набора Mozilla Common Voice 11.0; в карточке указаны результаты оценки: loss 0,1244 и WER 15,5103. Модель предназначена для автоматической транскрипции аудио на тайском языке. Лицензия Apache-2.0 разрешает использование в соответствии с её условиями.

zuazo/whisper-tiny-eu — модель автоматического распознавания речи, созданная дообучением Whisper Tiny от OpenAI на баскской части набора Common Voice 13.0. Она предназначена для преобразования баскской речи в текст, например для транскрибации записей и голосовых сообщений. Модель использует архитектуру Whisper и содержит 29,4 млн параметров. В README указаны результаты на оценочном наборе: WER 32,2694 и loss 0,6522. Модель принимает аудио и выдаёт текст; опубликована в формате PyTorch. Лицензия Apache-2.0 разрешает использование, изменение и распространение с указанием авторства.

Belle-distilwhisper-large-v2-zh — модель распознавания речи, разработанная BELLE-2 на основе distilwhisper-large-v2 и дообученная для улучшения распознавания китайской речи. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров; для работы с аудио использует частоту дискретизации 16 кГц. Модель предназначена для преобразования китайской речи в текст, в том числе в записях с тестовых наборов AISHELL-1, AISHELL-2, WenetSpeech и HKUST. В README указано, что она в 5,8 раза быстрее whisper-large-v2 и имеет на 51% меньше параметров; приведённые результаты CER зависят от тестового набора и не показывают улучшение на каждом из них. Модель доступна в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не приводит длину контекста или отдельные сведения о поддержке других языков, поэтому здесь они не заявляются.

Модель oddadmix/cohere-transcribe-arabic-07-2026-dialectal — полное дообучение модели CohereLabs/cohere-transcribe-arabic-07-2026, разработанное автором репозитория для распознавания арабской речи разных диалектов. Это ASR-модель на архитектуре Cohere ASR Conformer encoder-decoder с 2,07 млрд параметров, доступная в формате safetensors и рассчитанная на работу через Transformers. Она преобразует аудио в арабский текст без диакритических знаков; обучающие данные охватывают левантийский, магрибский, египетский, заливный, суданский и иракский диалекты, а также литературный арабский. Для пользовательского теста из 932 клипов автор сообщает WER 0,357 и CER 0,137 против WER 0,457 у базовой модели в режиме zero-shot. Эти результаты могут быть завышены из-за возможного пересечения исходных записей между обучающей и тестовой выборками. Модель предназначена для транскрибации арабской речи, включая записи с шумом, музыкой, изменением скорости, реверберацией и артефактами кодека. Она работает с отдельными аудиофрагментами длительностью до 30 секунд, не поддерживает потоковое распознавание; автор также отмечает, что пакетная генерация с padding может заметно ухудшать результат. Качество зависит от диалекта: магрибская речь распознаётся сложнее, а покрытие реальных условий требует отдельной проверки. Репозиторий распространяется по лицензии Apache-2.0; README характеризует модель как частную/внутреннюю и рекомендует оценивать её на собственных данных перед производственным применением.

Khalsuu/filipino-wav2vec2-l-xls-r-300m-official — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе данных filipino_voice. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на филиппинском языке в текст. В карточке приведены результаты оценки на тестовой выборке: loss 0,4672 и WER 0,2922. Указана лицензия Apache-2.0. Описание не содержит сведений о дополнительных сценариях использования или других языках.

geez-asr — модель автоматического распознавания амхарской речи, разработанная как дообученная версия Samuael/asr-amharic-phoneme-based-37-6 на наборе данных alffa_amharic. Она использует архитектуру wav2vec2 с декодированием CTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает о результатах оценки: WER 0,1471 и CER 0,0405. Модель предназначена для распознавания амхарской речи в аудиозаписях. Репозиторий распространяется по лицензии Apache-2.0.

Hamsa (همسة) — модель автоматического распознавания речи от NADSOFT, созданная на основе Whisper и предназначенная для транскрибирования арабской речи. Она содержит 455,8 млн параметров и обучалась на аудиоданных, включая наборы Jordan-Audio, FLEURS и Common Voice 11. Модель ориентирована на арабский язык и особенности речи Ближнего Востока и Северной Африки; для набора Jordan-Audio указана оценка WER 18,22. Модель подходит для преобразования арабской речи в текст, в том числе в задачах транскрибации записей. Разработчик отмечает, что система находится в разработке. Лицензия Apache-2.0.

Это версия модели NVIDIA Parakeet для автоматического распознавания японской речи и преобразования её в текст. Чекпойнт основан на mlx-community/parakeet-tdt_ctc-0.6b-ja и подготовлен для запуска через MLX на устройствах Apple, включая iPhone и компьютеры Mac с Apple Silicon. В основе — гибридная архитектура FastConformer TDT-CTC; размер модели составляет 0,6 млрд параметров. Веса заранее приведены к формату bfloat16. Это уменьшает размер файлов примерно с 2,49 до 1,25 ГБ и снижает пиковую память при загрузке по сравнению с преобразованием из fp32 во время запуска; по README, изменение типа данных не меняет поведение модели при выводе. Модель предназначена для распознавания японской речи на устройстве. Она распространяется по лицензии CC-BY-4.0 с указанием авторства NVIDIA и mlx-community.

Srota-Conv — модель автоматического распознавания речи, созданная командой susrota.com на основе Qwen/Qwen3-ASR-0.6B. Она дообучена всеми параметрами на корпусе HiACC для транскрибации спонтанной разговорной речи на хинглише, где в одном высказывании смешиваются хинди и английский. В транскрипте модель сохраняет естественное написание: слова на хинди передаёт письмом деванагари, а английские — латиницей. Модель использует архитектуру Qwen3-ASR с аудиоэнкодером AuT, проектором и языковой моделью Qwen3; общий размер — около 780 млн параметров. В тесте HiACC авторы сообщают WER 14,23% против 24,53% у базовой модели. Модель предназначена прежде всего для разговорной речи, а не для технических обучающих материалов. Она распространяется по лицензии Apache-2.0. Обучающая часть HiACC содержит около пяти часов речи, а в разбиениях корпуса пересекаются дикторы. Поэтому тестовый результат не подтверждает качество на новых дикторах и может не переноситься на другие акценты, диалекты и варианты хинглиша. Метрика также рассчитана с нормализацией, отличающейся от применявшейся в некоторых опубликованных базовых результатах.

QwenCleo-ASR — модель распознавания речи, разработанная на базе Qwen3-ASR-1.7B и дообученная для египетского арабского диалекта и переключения между арабским и английским языками. Она принимает аудио и формирует текстовую транскрипцию; в смешанной речи старается сохранять английские технические термины латиницей. Модель поддерживает потоковую обработку токен за токеном через vLLM, а для файлов доступна оконная транскрипция. Модель предназначена для расшифровки египетской разговорной речи, подкастов и аудио с арабско-английским переключением языков. В карточке приведены результаты сравнения на тестовом наборе из 3 699 высказываний, однако заявленное преимущество относится к этому набору и нормализации и не гарантирует качество на других данных. На других арабских диалектах и шумном аудио с большого расстояния качество может снижаться; модель не оптимизирована для речи только на английском. Распространяется по лицензии Apache-2.0.

whisper-base — это модель автоматического распознавания речи, подготовленная компанией Software Mansion для библиотеки React Native ExecuTorch. В репозитории размещены экспортированные программы ExecuTorch в формате .pte, готовые к запуску непосредственно на устройстве. Исходной моделью является whisper-base от OpenAI. Модель предназначена для сценариев преобразования речи в текст в приложениях на React Native и в собственных приложениях, использующих runtime ExecuTorch. Доступны варианты для backend Core ML, MLX, Vulkan и XNNPACK с точностью fp16, bf16, int8 или fp32; размер файлов составляет примерно от 97,8 до 380 МБ в зависимости от варианта. Точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Файлы опубликованы для ExecuTorch версии 1.4.1; обратная совместимость с более старыми версиями не гарантируется, а для новых версий также следует учитывать совместимость runtime. Репозиторий распространяется по лицензии Apache-2.0.

Модель CLEAR-Global/w2v-bert-2.0-chichewa_34_307h — версия facebook/w2v-bert-2.0, дообученная CLEAR Global для автоматического распознавания речи на языке чичева. Она использует архитектуру Wav2Vec2BertForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; обучение проводилось на наборе CLEAR-GLOBAL/CHICHEWA_34_307H - NA. В README приведены результаты оценки: WER 0,3856 и CER 0,1100. Модель распространяется по лицензии MIT.

wav2vec2-2-bert-large — модель распознавания речи с архитектурой SpeechEncoderDecoderModel, опубликованная в репозитории speech-seq2seq/wav2vec2-2-bert-large. Согласно карточке, модель обучена с нуля на наборе LibriSpeech ASR и предназначена для преобразования речи в текст. Метаданные указывают на входные аудиоданные и формат PyTorch. В карточке приведены результаты оценки на тестовом наборе: loss 6,9670 и WER 1,9878. Описание модели, назначение и ограничения в README заполнены лишь частично; язык распознавания явно не указан. Условия лицензии в доступных данных не приведены.

Whisper Base Hindi — модель автоматического распознавания речи, разработанная на основе Whisper Base и дообученная автором arun100 на подмножестве hi_in датасета google/fleurs. Она принимает аудио и генерирует текстовую расшифровку на хинди. Модель содержит 51,7 млн параметров и опубликована в формате safetensors. На оценочном наборе указаны loss 0,4468 и WER 27,7206. Модель предназначена для распознавания речи на хинди; качество на других языках и в иных условиях записи не описано. Лицензия — Apache-2.0.