I.9Аудио и музыка

Это дообученная модель распознавания речи burakaydinofficial на базе OpenAI Whisper tiny. В ней декодерное MHA-внимание преобразовано в MLA (Multi-Head Latent Attention), а затем модель восстановительно дообучена на прикладном наборе из 24 языков. Она содержит 29,4 млн параметров и предназначена для транскрибации речи, в частности при ограниченной памяти устройства: размер KV-кэша декодерного self-attention сокращён на 62,5%. Модель загружается через Transformers с trust_remote_code и версией 4.46.x; веса опубликованы в формате safetensors. В тестах CommonVoice-17 качество существенно различается по языкам. Для нескольких языков с малым объёмом данных ошибки очень высоки, поэтому результаты для них практически непригодны; целевая область — речь, записанная на потребительский микрофон, в спокойном режиме чтения. Сокращение кэша относится только к декодерному self-attention: память энкодера и cross-attention не сжата, поэтому экономия общей памяти при одном потоке скромнее. Модель распространяется по лицензии Apache-2.0.

rifailabs выпустила дообученную версию OpenAI Whisper Small для автоматического распознавания речи на шикомори и суахили. Модель принимает аудио и генерирует текстовую транскрипцию; в карточке указано 153,1 млн параметров и формат весов safetensors. Она основана на мультиязычной архитектуре Whisper и распространяется по лицензии Apache-2.0. В README приведены результаты оценки: WER 39,50 и CER 13,76 на тестовом наборе. Датасет и подробности оценки не описаны, поэтому эти показатели не позволяют уверенно судить о качестве на других записях или языках.

Audio8-ASR-0.1B — компактная авторегрессионная модель распознавания речи, опубликованная Audio8. Она принимает аудио и преобразует речь в текст на китайском, английском, французском, немецком, японском, корейском и кантонском языках. В модели используется аудиокодировщик Qwen3-ASR с MLP-проектором и восьмислойный причинный языковой декодер в стиле Qwen. Языковой компонент содержит около 103,5 млн параметров, а общее число уникальных параметров составляет около 324 млн. Модель рассчитана на работу через Hugging Face Transformers; частота дискретизации — 16 кГц. Для декодирования можно задавать подсказки с ключевыми словами без дообучения. Длина контекста в метаданных — 32 768 токенов. Модель подходит для транскрибации коротких аудиозаписей и распознавания речи с подсказками по терминам. В примерах аудио обрезается до 30 секунд; слишком сильное усиление ключевых слов может сместить результат распознавания. Выпущены отдельные варианты для ONNX Runtime и iOS, но этот репозиторий содержит чекпойнт Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Borealis — русскоязычная аудиоязыковая модель с распознаванием речи, разработанная Ильёй Кулешовым и Александром Николичем из Vikhr Team. Репозиторий содержит чекпойнт архитектуры Borealis, вдохновлённой Voxtral; модель обучалась на примерно 7000 часах русскоязычного аудио. Модель предназначена для преобразования русской речи в текст и поддерживает расстановку пунктуации в распознанной речи. В README приведено сравнение с другими открытыми моделями ASR на нескольких наборах данных: средний WER Borealis составляет 6,33%; результаты различаются в зависимости от набора данных. Модель опубликована в формате PyTorch для Transformers и распространяется по лицензии Apache-2.0. В README не приведены размер модели, длина контекста и подробные инструкции по использованию; заявленный бенчмарк ещё не опубликован, поэтому результаты сравнения следует рассматривать с учётом этого ограничения.

combinedwhispersanlishlr2e5 — дообученная модель распознавания речи на базе openai/whisper-small, подготовленная разработчиком thunderboltc. Она принимает аудио и преобразует речь в текст; в метаданных указаны архитектура WhisperForConditionalGeneration и библиотека Transformers. README приводит результаты оценки: WER 33,4213 и CER 8,1594; сведений о языке и составе обучающих данных нет. Модель подходит для транскрибирования аудиозаписей в сценариях, соответствующих данным её дообучения. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. README не описывает назначение дообучения и ограничения качества, поэтому область применения по языкам и типам аудио определить нельзя.

Conformer-CTC Small (en) — небольшая английская модель распознавания речи NVIDIA NeMo на архитектуре Conformer-CTC, подготовленная для запуска в loom.cpp. Репозиторий содержит экспорт в формате GGUF; согласно карточке, веса не изменены относительно nvidia/stt_en_conformer_ctc_small. Модель принимает аудио и преобразует его в текст, подходит для транскрибации англоязычной речи. Для запуска предусмотрена библиотека loom-py-rt, которая выполняет необходимые для модели обработку аудио и сборку результата. Репозиторий распространяется по лицензии CC BY 4.0.

Distil-Whisper distil-medium.en — англоязычная модель распознавания речи, разработанная как дистиллированный вариант Whisper medium.en. Она предназначена для транскрибирования коротких и длинных аудиозаписей и может использоваться как ускоренная замена Whisper в системах распознавания речи, а также как вспомогательная модель для спекулятивного декодирования. Модель использует архитектуру encoder-decoder Whisper: энкодер скопирован из учительской модели и заморожен, а декодер сокращён до двух слоёв. В README заявлено ускорение в 6 раз при размере на 49% меньше и качестве в пределах 1% WER от Whisper на тестах вне обучающего распределения. Репозиторий содержит 455,8 млн параметров; доступны форматы PyTorch, Safetensors, ONNX и Flax. Модель принимает аудио и генерирует текст, поддерживает только распознавание английской речи. Для Hugging Face Transformers требуется версия 4.35 или новее. Лицензия — MIT.

marianbasti/distil-whisper-large-v3-es — дистиллированная модель распознавания речи на основе Whisper large-v3, созданная при сотрудничестве SandboxAI и Национального университета Рио-Негро. Модель обучена на наборе Mozilla Common Voice 16.1 и предназначена для транскрибации испанской речи; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Модель принимает аудио и выдаёт текст на испанском языке. Она поддерживает распознавание коротких записей и обработку длинных аудио с разбиением на фрагменты; в README также описан режим speculative decoding в связке с Whisper, который ускоряет генерацию при сохранении совпадения результатов с основной моделью. Для запуска используется библиотека Transformers версии 4.35 или новее. В карточке приведён результат 5,11% WER (10,15% orthogonal WER). Модель распространяется по лицензии MIT. Качество вне испанского языка и на аудио, отличающемся от данных Common Voice, в карточке не охарактеризовано.

Модель jonatasgrosman/exp_w2v2t_ru_unispeech-sat_s423 — версия UniSpeech-SAT Large, дообученная для автоматического распознавания русской речи. Её разработчик дообучил microsoft/unispeech-sat-large с помощью инструмента HuggingSound на обучающей части Common Voice 7.0 для русского языка. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Она предназначена для транскрибирования русской речи в задачах распознавания голосовых записей. Веса опубликованы в формате PyTorch; размер модели — около 402,7 млн параметров. Модель распространяется по лицензии Apache-2.0. Её обучение на Common Voice 7.0 ограничивает основания для ожидания качества на других языках, условиях записи и типах речи; перед использованием в таких сценариях качество следует проверить.

Fun-ASR-Nano-GGUF — версия модели автоматического распознавания речи Fun-ASR-Nano, разработанная командой FunAudioLLM. Она предназначена для преобразования аудио в текст, прежде всего для китайской и английской речи, а также для локального запуска на CPU и периферийных устройствах без Python через runtime FunASR на базе llama.cpp. Модель подходит для офлайн-распознавания, встраиваемых приложений и сценариев, где важны автономность и единый C++-бинарник. Архитектура включает аудиоэнкодер SenseVoice SAN-M, adaptor и декодер на базе Qwen3-0.6B. Распространяется в формате GGUF: энкодер имеет размер около 470 МБ, а LLM-декодер доступен в вариантах Q4_K_M примерно на 484 МБ, Q5_K_M на 551 МБ и Q8_0 на 805 МБ. Для работы необходимы как файл энкодера, так и файл декодера; в рекомендуемом сценарии также используется FSMN-VAD. В README не указаны размер контекста и дополнительные модальности. Сильными сторонами являются CPU-ориентированное развертывание, отсутствие зависимости от Python и несколько уровней квантования с небольшим различием в качестве. На указанном тесте из 184 китайских аудиофрагментов получен показатель CER от 8,25% до 8,35% в зависимости от квантования, однако это ограниченный бенчмарк, поэтому результаты не гарантируют такое же качество на других данных, языках и условиях записи. Более компактные варианты экономят память, но могут немного уступать по точности. Модель распространяется по лицензии Apache-2.0.

istupakov/gigaam-v3-onnx — это набор моделей автоматического распознавания речи, преобразованных в формат ONNX из GigaAM v3. Разработчик конвертации — istupakov; исходная модель указана как ai-sage/GigaAM-v3, а связанные модели GigaAM разработаны командой Salute Developers. Модель предназначена для преобразования русской речи из WAV-аудио в текст и интеграции с библиотекой onnx-asr. Доступны варианты на архитектурах CTC и RNN-T, включая версии E2E CTC и E2E RNN-T с расстановкой пунктуации и нормализацией текста. Модели ориентированы на русский язык и поддерживают выполнение через ONNX, в том числе с CPU. Размер модели, максимальная длина контекста, точные требования к аудио и другие архитектурные характеристики в README не указаны. Преобразование в ONNX может быть удобно для развёртывания и инференса в совместимых средах, однако ограничения исходной GigaAM v3 и различия между вариантами CTC и RNN-T требуют выбора модели под конкретный сценарий. Лицензия — MIT.

OpenASR/granite-speech-4.1-2b — модель автоматического распознавания речи, созданная IBM Granite и адаптированная проектом OpenASR для локального запуска. Она преобразует аудиозаписи в текст и предназначена для сценариев speech-to-text на CPU и GPU без использования Python во время инференса. Модель имеет около 2 млрд параметров и сочетает 16-слойный аудиоэнкодер Conformer, Q-Former projector и декодер Granite на 2B параметров. Поддерживаются английский, французский, немецкий, испанский, португальский и японский языки; исходный язык определяется автоматически, без специального языкового токена. Доступны варианты квантования fp16, q8_0 и q4_k в формате .oasr. По данным README, для английского достигнут WER 0,54% на фиксированном наборе оценки, а q8_0 рекомендован как компромисс между качеством и размером. Сильные стороны модели — высокая заявленная точность английского распознавания, мультиязычность, локальная работа на CPU и GPU и сниженное потребление памяти благодаря квантованию. Ограничения включают поддержку только шести заявленных языков и отсутствие данных о контекстном окне, устойчивости к шуму, качестве на других языках и сценариях, а также об абсолютной точности квантованных вариантов за пределами указанной оценки. Пакеты распространяются по лицензии Apache-2.0 и наследуют лицензию исходной модели; OpenASR выполняет конвертацию формата, квантование и адаптацию для локального инференса.

mesolitica/malaysian-whisper-small-v2 — это дообученная модель распознавания речи на базе Whisper Small, опубликованная разработчиком mesolitica. Она предназначена для преобразования аудио в текст на малайском и английском языках, включая местные варианты малайского и разговорный английский Manglish. Модель имеет архитектуру Whisper с примерно 153,1 млн параметров. При обучении использовались наборы IMDA STT, Malay Conversational Speech Corpus, синтетические и псевдоразмеченные аудиоданные, включая малайские видео и аудиокниги. Для обработки аудио длиннее 30 секунд автор рекомендует разбивать его на фрагменты и распознавать каждый отдельно. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных сведениях не указана.

MOSS-Audio-8B-Instruct — открытая мультимодальная модель понимания аудио от MOSI.AI, команды OpenMOSS и Shanghai Innovation Institute. Вариант Instruct предназначен для выполнения инструкций по аудиозаписям: модель принимает аудио и формирует текстовые ответы о его содержании. Модель объединяет аудиоэнкодер MOSS-Audio-Encoder, адаптер модальности и языковую модель Qwen3-8B; общий размер составляет около 8,6 млрд параметров. Архитектура использует временные маркеры и признаки аудио с нескольких слоёв энкодера. Поддерживаются задачи распознавания речи с временными метками, анализа говорящих и эмоций, описания звуковых событий и сцен, понимания музыки, ответов на вопросы и суммаризации аудио. Карточка указывает английский и китайский языки. Модель ориентирована на разбор реальных аудиозаписей и вопросов с учётом временного контекста. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. Контекстное окно и количественные результаты именно этого варианта в предоставленных данных не указаны.

omniASR-CTC-300M-v2-Zulu-All-v2 — модель распознавания речи на базе Wav2Vec2 с архитектурой CTC, преобразованная из чекпойнта OmniLingual fairseq2 omniASR_CTC_300M_v2. Она принимает аудио и выдаёт распознанную речь в виде текста; выходной слой формирует CTC-логиты по словарю SentencePiece. Модель предназначена для многоязычной транскрибации речи. В конфигурации указаны 24 слоя энкодера и размер скрытого представления 1024; число параметров по метаданным — 413,2 млн. Совпадение численных выходов с исходным чекпойнтом fairseq2 подтверждено на одном отложенном аудиопримере с допуском atol=1e-4. Репозиторий использует формат safetensors и библиотеку Transformers. В карточке не названы конкретные поддерживаемые языки, поэтому их нельзя перечислить. Лицензия в предоставленных данных не указана.

jsbeaudry/oswald-large-v3-turbo-m1.1 — дообученная модель распознавания речи на архитектуре Whisper, разработанная jsbeaudry. Она предназначена для преобразования входящего аудио в текст. В карточке указаны 905,2 млн параметров, обучение с использованием Unsloth и библиотеки TRL, а также поддержка английского языка. Модель подходит для транскрибации английской речи. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Сведения о контексте применения и точности распознавания в карточке не приведены.

OWSM v4 base 102M — открытая мультиязычная модель распознавания речи из серии Open Whisper-style Speech Model, разработанная командой ESPnet под руководством Yifan Peng из CMU. Это encoder-decoder модель с 102 млн параметров, обученная на 320 тысячах часов публичных аудиоданных. Она предназначена для распознавания речи, определения языка, перевода речи и предсказания временных меток высказываний; поддерживает также длинные записи и перевод. Модель принимает аудио с частотой 16 кГц, обрабатывает его фрагментами до 30 секунд и доступна для запуска через ESPnet. OWSM v4 улучшает качество определения языка и мультиязычного распознавания по сравнению с OWSM v3.1. Она использует восьмикратное прореживание log-Mel-признаков, что даёт разрешение энкодера 80 мс. В карточке модели не перечислены отдельные поддерживаемые языки, поэтому конкретные языки здесь не указаны. Лицензия — CC BY 4.0.

Qwen3-Omni-30B-A3B-Captioner — модель для подробного описания аудио, созданная командой Qwen дообучением Qwen3-Omni-30B-A3B-Instruct. Она принимает только аудио и выдаёт текст; текстовые подсказки и несколько аудиовходов за один запрос не поддерживаются. Модель описывает речь, голоса и эмоции говорящих, а также музыку, окружающие звуки и звуковые эффекты. Она рассчитана на сложные записи с несколькими источниками звука и стремится давать подробные описания с меньшим количеством галлюцинаций. Для сохранения детализации рекомендуется подавать аудиоклипы длительностью не более 30 секунд. Модель использует архитектуру Qwen3 Omni MoE и запускается через Transformers; в репозитории указаны веса Safetensors. Карточка описывает поддержку многоязычной речи, но конкретные языки не перечисляет. Лицензия указана как other, поэтому условия использования следует проверить в материалах репозитория.

Vikhr Salt — мультимодальная модель, разработанная Ксенией Сычёвой, Константином Королёвым и Александром Николичем. Она дообучена на TinyLlama/TinyLlama_v1.1 и расширена аудиотокенами для распознавания речи и синтеза речи. Модель относится к семейству Llama, имеет около 1 млрд параметров и принимает текст и аудио, выдавая текст или аудио. В README описаны варианты кодирования аудио Encodec и SpeechTokenizer; метаданные указывают контекст 2048 токенов. Модель подходит для преобразования речи в текст и генерации речи из текста. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества, поэтому точность распознавания и естественность синтеза по этим данным определить нельзя.

ssc-ttj-mms-model — дообученная модель распознавания речи на базе facebook/mms-1b-all, опубликованная под лицензией CC BY-NC 4.0. Она использует архитектуру wav2vec2 с CTC-декодированием, содержит 1,3 млрд параметров и принимает аудио, чтобы преобразовывать речь в текст. Базовая модель поддерживает более тысячи языков, однако язык и состав данных для этого дообучения не указаны. В README приведены результаты оценки: CER 0,0795 и WER 0,4288 при значении loss 0,2494. Данных о наборе для обучения, сценариях применения и ограничениях автор не предоставил; качество на других данных и языках по этим метрикам определить нельзя. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

VibeVoice-ASR-Streaming-7B-GGUF — это сборка в формате GGUF для audio.cpp модели автоматического распознавания речи Microsoft VibeVoice-ASR-Streaming-7B. Репозиторий audio.cpp предоставляет варианты модели, адаптированные для запуска через audio.cpp, включая офлайн-распознавание и потоковую транскрипцию в реальном времени. Модель предназначена для преобразования аудио в текст, в том числе при передаче аудиоданных непрерывным потоком. Заявлена поддержка английского, китайского, испанского, португальского, немецкого, японского, корейского, французского, русского и итальянского языков. Модель также относится к классу speaker-attributed transcription, однако подробности о механизме и качестве атрибуции говорящих в README не приведены. Для потокового режима требуется монофонический PCM-аудиосигнал с частотой 16 кГц и 16-битным знаковым форматом. Доступны варианты BF16 с максимальной точностью, рекомендуемый Q8_0 и более компактный Q4_K с меньшей разрядностью. Размер базовой модели — 7B параметров; сведения о точной архитектуре, размере контекста и характеристиках мультимодальности не указаны. К сильным сторонам относятся поддержка потоковой обработки, несколько языков и интеграция с audio.cpp. Ограничения включают зависимость от совместимого рантайма audio.cpp, а также отсутствие в README данных о точности, задержке, требованиях к ресурсам и качестве разделения говорящих. Файлы распространяются по лицензии MIT.

Это версия Voxtral-Mini-4B-Realtime-2602, преобразованная schroneko в формат MLX с 4-битным представлением для запуска через voxmlx. Базовая модель разработана Mistral AI и предназначена для потокового распознавания речи с низкой задержкой. Модель принимает аудио и выдаёт текстовую транскрипцию; в карточке указана поддержка английского, французского, испанского, немецкого, русского, китайского, японского, итальянского, португальского, нидерландского, арабского, хинди и корейского языков. Репозиторий распространяется по лицензии Apache-2.0. MLX-версия рассчитана на запуск в экосистеме MLX; README предлагает использовать библиотеку voxmlx.

Yehor/w2v-xls-r-uk — модель автоматического распознавания украинской речи от автора Yehor, дообученная на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC семейства wav2vec2, содержит 402,7 млн параметров и принимает аудио, преобразуя его в текст. В метаданных указан датасет Common Voice 10.0 для украинского языка. Модель подходит для транскрибации украинской речи и распознавания записей. В карточке приведены результаты оценки: WER 20,24% и CER 3,64%; для оценки использовались float16 и batch_size=1. README предупреждает, что следует использовать обновлённую модель. Модель опубликована под лицензией Apache-2.0.

Модель mazhar00968/wav2vec2-base-scl-common-voice — дообученная версия facebook/wav2vec2-base для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров. Модель принимает аудио и выдаёт распознанный текст. В карточке приведены результаты оценки: loss 1,7258 и WER 0,8720. Описание данных для обучения и целевых сценариев в README не раскрыто, поэтому качество распознавания для конкретных языков и условий записи по этим сведениям оценить нельзя. Модель распространяется по лицензии Apache-2.0.

NbAiLab/wav2vec2-large-danish-npsc-nst — модель распознавания речи на основе архитектуры wav2vec2, разработанная как дообучение chcaa/xls-r-300m-danish. Она преобразует аудиоречь в текст и предназначена для автоматической транскрипции. В карточке приведены результаты оценки: WER 0,0669 и loss 0,0587; состав обучающего набора данных не раскрыт. Модель содержит около 402,7 млн параметров, использует Wav2Vec2ForCTC и распространяется в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Доступные сведения указывают на датский вариант модели; другие поддерживаемые языки не подтверждены.

facebook/wav2vec2-large-robust-ft-libri-960h — модель распознавания речи от Facebook на архитектуре Wav2Vec2 Large с плотной сетью и декодированием CTC. Она предварительно обучалась на Libri-Light, Common Voice, Switchboard и Fisher, а затем была дообучена на 960 часах англоязычной речи из LibriSpeech. Модель преобразует аудиозапись в текст и подходит для расшифровки аудиокниг, диктовки и телефонной речи. На вход следует подавать аудио с частотой дискретизации 16 кГц; метаданные указывают размер около 402,7 млн параметров. Репозиторий содержит веса PyTorch и safetensors. Модель ориентирована на английскую речь. Её применение ограничено качеством и условиями записи: шум, акценты и отличия от обучающих доменов могут ухудшать распознавание. Лицензия — Apache-2.0.

Модель ravirajoshi/wav2vec2-large-xls-r-300m-marathi — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на маратхи. Она принимает аудио и преобразует речь в текст; в карточке приведены результаты оценки: WER 0,2156 и loss 0,5656. Модель построена на архитектуре wav2vec2 с CTC-выходом, содержит 402,7 млн параметров и распространяется в формате PyTorch. Модель подходит для расшифровки записей и речи на маратхи. Лицензия Apache-2.0 разрешает использование, изменение и распространение с соблюдением её условий. Результаты распознавания могут содержать ошибки, особенно на аудио, отличающемся от условий оценки.

menhior дообучил модель facebook/wav2vec2-xls-r-300m на Common Voice для автоматического распознавания речи. Модель построена на архитектуре Wav2Vec2 и выдаёт текстовую транскрипцию по аудиозаписи; в метаданных указано 402,7 млн параметров и формат PyTorch. Название репозитория указывает на настройку для турецкого языка. На оценочном наборе указаны loss 0,3991 и WER 0,3050. Модель подходит для транскрибирования турецкой речи в сценариях, подобных записям Common Voice. Лицензия — Apache-2.0. Подробности о тренировочных настройках и конкретных ограничениях в карточке не раскрыты.

facebook/wav2vec2-large-xlsr-53-dutch — модель распознавания речи на основе архитектуры wav2vec 2.0, опубликованная Facebook. Она предназначена для преобразования нидерландской речи в текст и оценена на тестовой части Common Voice NL; в карточке приведён результат 21,1% без пояснения метрики. Модель содержит 402,7 млн параметров и доступна в форматах PyTorch и Flax. Модель принимает аудио и выдаёт текстовую транскрипцию. В метаданных указан нидерландский язык, а лицензия — Apache 2.0. Карточка не уточняет метрику оценки и условия записи аудио, поэтому приведённый результат нельзя напрямую сопоставлять с результатами других моделей.

Это модель автоматического распознавания финской речи, созданная Jonatas Grosman на основе facebook/wav2vec2-large-xlsr-53. Модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC содержит 402,7 млн параметров и дообучена на финском языке на обучающей и валидационной выборках Common Voice 6.1 и CSS10. Модель преобразует аудиозаписи на финском языке в текст и подходит для транскрибирования речи. Для подачи аудио требуется частота дискретизации 16 кГц. В README приведены результаты оценки WER и CER на тестовой выборке Common Voice; качество может отличаться на других данных и при иных настройках оценки. Лицензия — Apache-2.0.