I.9Аудио и музыка

Модель h-gajdov/full_moonshine_tiny_all_data_wup5_ep12_lr5e-5_new_transcripts — дообученная модель Moonshine Tiny от UsefulSensors для распознавания македонской речи и преобразования её в текст. Это компактная encoder-decoder-модель с 27,1 млн параметров, принимающая необработанный аудиосигнал; в отличие от Whisper с фиксированным окном log-mel, её вычислительная стоимость зависит от длительности аудио, что подходит для локального распознавания на устройствах. В метаданных указан контекст 194 токена; при генерации README рекомендует ограничивать max_length значением 192. Модель обучена на смеси македонских речевых наборов, в основном на исправленных и заново транскрибированных данных Vezilka-ASRI. На тестовом наборе из 44 роликов README сообщает WER 11,91% и CER 4,85%; автор отмечает, что результат уступает Whisper Large v3 Turbo, но сравнение идёт с существенно более крупной моделью. Доступна лицензия в предоставленных данных не указана.

FunAudioLLM/Fun-ASR-Nano-2512-vllm — официальная упаковка модели распознавания речи FunAudioLLM для запуска через vLLM. Это плотная архитектура семейства Qwen3 с 507,9 млн параметров и контекстом 40 960 токенов; модель принимает аудио и выдаёт распознанный текст. Указанные для карточки языки — китайский, английский и японский. Репозиторий сохраняет исходные веса FunAudioLLM/Fun-ASR-Nano-2512 и добавляет структуру, необходимую для реализации FunASRForConditionalGeneration в vLLM. README сообщает, что тензоры в safetensors побитово совпадают с тензорами исходного чекпойнта. Упаковка предназначена для распознавания речи в приложениях и сервисах, использующих vLLM; проверенный сценарий — vLLM 0.27.1 на NVIDIA H100 80 GB с float32. Преимущество этой версии — совместимость с vLLM без изменения весов исходной модели. Проверка описана для одной конфигурации и одного китайского примера, поэтому качество на других наборах данных, ускорителях и версиях vLLM отдельно не подтверждено. Для временных меток, диаризации и потоковой обработки README рекомендует оригинальный чекпойнт через инструментарий FunASR. Лицензия — Apache-2.0.

GLM-ASR-Nano-2512 — компактная модель распознавания речи от zai-org с 1,5 млрд параметров, построенная на архитектуре GLM-ASR и распространяемая в формате safetensors. Она принимает аудио и преобразует речь в текст; карточка заявляет поддержку китайского и английского, включая кантонский диалект, и устойчивость к тихой речи и сложной акустике. Модель предназначена для транскрибации разговоров и совещаний, в том числе при фоновом шуме и низкой громкости. В README заявлено, что модель превосходит Whisper V3 на ряде бенчмарков и показывает средний показатель ошибки 4,10; это заявления разработчика, а не независимая оценка. Для интеграции указана библиотека Transformers, а лицензия — MIT.

NeuML/ljspeech-jets-onnx — модель синтеза речи, экспортированная из ESPnet JETS в формат ONNX с помощью библиотеки espnet_onnx. Она преобразует текст в аудио и предназначена для использования в приложениях синтеза речи; запуск возможен через TTS-конвейер txtai или напрямую через ONNX при предварительной токенизации текста. Модель основана на датасете LJSpeech и рассчитана на английскую речь. Репозиторий распространяется по лицензии Apache-2.0.

BuzzASR/macedonian — одноязычная модель автоматического распознавания речи на македонском языке, созданная командой BuzzASR дообучением Whisper large-v3 от OpenAI. Она принимает аудио и генерирует текстовую транскрипцию; подсказка языка и задачи уже задана в конфигурации генерации. Модель содержит около 905,2 млн параметров, построена на архитектуре Whisper и распространяется в формате safetensors для Transformers. Модель предназначена для транскрибации македонской речи. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25, где авторы сообщают о снижении CER относительно Whisper large-v3 без дообучения. Лицензия — MIT. Проверка охватывает указанные тестовые наборы; точность на других предметных областях, диалектах и условиях записи может отличаться.

mesolitica/malaysian-whisper-medium — модель распознавания речи, созданная Mesolitica путём дообучения Whisper Medium на данных малайской речи. Она предназначена для преобразования аудио в текст на малайском языке, включая стандартную и местную речь, а также на английском, включая Manglish. Модель основана на архитектуре Whisper и содержит 455,8 млн параметров; в репозитории представлены веса Safetensors. Модель подходит для транскрибации разговоров и видео на малайском и английском языках. Для обработки аудио длиннее 30 секунд автор рекомендует разбивать запись на фрагменты такой длительности и распознавать их отдельно. Данные для дообучения включают наборы IMDA STT, Malay Conversational Speech Corpus, псевдоразметку малайских видео и аудиокниг, а также частный датасет Haqkiem TTS. Условия лицензии в предоставленных данных не описаны.

Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-42 — дообученная версия facebook/mms-1b-all, разработанная на наборе BEMGEN - BEM. Это модель распознавания речи на архитектуре wav2vec2 с головой Wav2Vec2ForCTC, принимающая аудио и преобразующая его в текст. В репозитории указано 1,3 млрд параметров; модель рассчитана на применение в сценариях автоматической транскрипции речи. На оценочном наборе указаны Loss 12,2430 и CER 0,0530. Базовая модель поддерживает более тысячи языков, но язык и охват языков именно этой дообученной версии не уточнены. Для файлов используется формат safetensors, библиотека — Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

aomocelin/moonshine_tiny_pt_v06 — дообученная модель семейства Moonshine для автоматического распознавания речи. Она принимает аудио и выдаёт текст; в README указано, что модель дообучена на основе aomocelin/moonshine_tiny_pt_v05, но обучающий набор данных не раскрыт. Модель построена на архитектуре MoonshineForConditionalGeneration и распространяется в формате safetensors для библиотеки Transformers. Лицензия — MIT. В README приведены результаты оценки: Loss 11.9592 и WER 2.9991; без описания набора данных и протокола оценки эти значения сложно интерпретировать. Метаданные указывают контекст в 194 токена. Язык распознавания из доступных сведений установить нельзя.

Карточка модели OpenMOSS-Team/MOSS-Audio-8B-Thinking на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-Audio-4B-Instruct, поэтому описание составлено по ней. MOSS-Audio-4B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Это вариант Instruct с аудиоэнкодером MOSS-Audio-Encoder и языковой основой Qwen3-4B; общий размер составляет около 4,6 млрд параметров. Аудио преобразуется в временные представления с частотой 12,5 Гц, которые объединяются с представлениями языковой модели для генерации текста. Модель принимает аудио и выполняет инструкции на его основе. Модель предназначена для распознавания речи с временными метками, ответов на вопросы и составления резюме по аудио, анализа говорящих, эмоций и звуковых событий, описания окружающей обстановки и понимания музыки. Архитектура с передачей признаков между слоями энкодера и временными маркерами поддерживает анализ акустических деталей и последовательности событий. В карточке семейства заявлена поддержка английского и китайского языков; результаты оценки относятся к семейству моделей и не гарантируют такое же качество именно для варианта 4B. Модель распространяется по лицензии Apache-2.0. Карточка описывает возможности семейства, но не приводит отдельные результаты оценки, требования к ресурсам или конкретные ограничения варианта 4B-Instruct.

Nemotron 3.5 ASR Offline 6-bit CoreML — это порт модели NVIDIA Nemotron 3.5 ASR Streaming 0.6B в формат CoreML, подготовленный для локального запуска на устройствах Apple Silicon. Репозиторий поддерживается BarathwajAnandan и предназначен для использования в движке FluidVoice; исходная модель разработана NVIDIA. Модель предназначена для автоматического распознавания речи и локальной транскрибации аудио. Это офлайн-вариант с промпт-условным мультиязычным режимом: язык можно задавать вручную, а при поддержке со стороны среды выполнения использовать автоматическое определение языка. Архитектура представлена набором CoreML-компонентов, включая предварительную обработку, encoder, decoder, joint-модель и tokenizer; encoder и joint-модель квантизованы до 6 бит. Размер пакета составляет около 531 МБ. Ключевые преимущества — локальная обработка на Apple Silicon, отсутствие необходимости загружать аудио на сервер и компактное квантизованное представление. README не содержит полного перечня поддерживаемых языков, характеристик качества, требований к длительности или формату аудио и других ограничений, поэтому эти параметры следует уточнять в карточке исходной модели NVIDIA. Лицензия указана как other; условия использования наследуются от upstream-модели NVIDIA Nemotron 3.5 ASR.

animaslabs/nemotron-speech-streaming-en-0.6b-mlx — версия модели распознавания речи NVIDIA Nemotron Speech Streaming EN 0.6B, конвертированная в формат MLX. Репозиторий предназначен для запуска распознавания английской речи на совместимом ПО Apple MLX; в метаданных указана архитектура FastConformer с RNNT и поддержка потокового ASR. Модель принимает аудио и преобразует речь в текст. Её можно использовать для потоковой транскрибации и распознавания английской речи из аудиофайлов через parakeet-mlx или mlx-audio. В README приведён пример запуска через parakeet-mlx. Это производная модель на базе nvidia/nemotron-speech-streaming-en-0.6b; README описывает конвертацию в MLX, а метаданные указывают связь finetune. Файлы представлены в safetensors. Лицензия указана как other; подробности следует сверять с карточкой исходной модели.

Paraformer-zh-GGUF — это квантованная и перепакованная в формат GGUF версия модели автоматического распознавания речи funasr/paraformer-zh, разработанной Alibaba и распространяемой в экосистеме FunASR. Данная сборка предназначена для работы с backend paraformer проекта CrispASR и преобразует аудиозаписи в текст, прежде всего на китайском языке с поддержкой английского. Модель использует неавторегрессионную архитектуру Paraformer примерно на 220 млн параметров: аудио 16 кГц преобразуется в mel-признаки, затем обрабатывается 50 блоками SANM-энкодера, CIF-предиктором и 16 блоками SANM-декодера. Полный транскрипт формируется за один проход, без последовательной генерации токенов. В репозитории доступны варианты F16 размером около 421 МБ, Q8_0 около 227 МБ и рекомендуемый Q4_K около 123 МБ. Словарь содержит 8404 символа. Сильной стороной является отсутствие заметной потери результатов при квантовании: в приведённых тестах варианты Q4_K и Q8_0 дали побайтно идентичные транскрипты версии F16 и исходной PyTorch-модели на китайских и английских аудиоклипах. Ограничения включают отсутствие пунктуации и регистра, а для китайского текста — слитную выдачу символов; восстановление пунктуации требует отдельной модели. Контекстное окно, поддержка других языков и количественные метрики качества в карточке не указаны. Код upstream-пакета funasr распространяется по Apache-2.0, однако веса используют лицензию FunASR Model License Alibaba; коммерческое использование разрешено при указании авторства. GGUF-файлы наследуют лицензионные условия весов, поэтому в производных продуктах необходимо атрибутировать Alibaba и FunAudioLLM.

Parakeet-EOU-120M CoreML INT8 — модель автоматического распознавания речи, разработанная aufklarer на основе NVIDIA Parakeet Realtime EOU 120M v1 и преобразованная в формат CoreML с использованием coremltools. Она предназначена для потоковой транскрипции аудио на устройствах Apple Silicon, включая сценарии распознавания речи с микрофона и локального выполнения через Apple Neural Engine. Модель поддерживает определение конца высказывания с помощью специального токена EOU, поэтому для сегментации не требуется внешний VAD. Модель содержит 120 млн параметров и использует архитектуру FastConformer-RNNT с 17-слойным кэшируемым энкодером и однослойным LSTM-декодером. В энкодере применяется INT8 palettization. Поддерживается английский язык, входной аудиосигнал рассчитан на частоту дискретизации 16 кГц. Потоковая обработка выполняется чанками по 320 мс с настраиваемым размером. Словарь включает 1024 BPE-токена и специальные токены EOU, EOB и blank. К сильным сторонам относятся низкая задержка, возможность работы в реальном времени, локальное выполнение и небольшой потоковый кэш. На Apple M2 Max заявлены средняя задержка полного конвейера 17,7 мс, задержка P95 22,4 мс и коэффициент реального времени 0,055, что соответствует примерно 18-кратному ускорению относительно длительности аудио. Ограничения включают ориентацию на экосистему Apple и поддержку только английского языка; приведённые показатели производительности относятся к Apple M2 Max и могут отличаться на других устройствах. Модель распространяется по лицензии NVIDIA Open Model License.

Это конвертированная в формат MLX версия модели распознавания речи NVIDIA Parakeet-TDT 0.6B v2, подготовленная сообществом mlx-community на основе nvidia/parakeet-tdt-0.6b-v2. Модель предназначена для преобразования аудиозаписей в текст; для запуска предлагаются библиотеки parakeet-mlx и mlx-audio. В основе — архитектура FastConformer/Conformer и метод TDT; исходная модель содержит около 0,6 млрд параметров. По описанию базовой модели, она транскрибирует английскую речь, расставляя пунктуацию и заглавные буквы, а также выдаёт временные метки слов. Репозиторий использует safetensors и библиотеку MLX. Лицензия — CC BY 4.0.

Это версия модели распознавания речи NVIDIA Parakeet TDT 0.6B v3, подготовленная NielsPeter для MLX. Веса с плавающей точкой сохранены в формате bfloat16 вместо float32; архитектура, словарь и токенизатор не изменены. Модель принимает аудио и выдаёт распознанный текст, включая речь на английском, датском и шведском языках. Формат bfloat16 уменьшает размер файлов весов с 2,34 до 1,25 ГБ и снижает пиковое потребление памяти при транскрибировании примерно с 2,6 до 1,6 ГБ. В описанных сравнениях результат совпал с float32-версией на примерно 7 300 словах на трёх языках. Модель предназначена для использования с MLX; лицензия — CC-BY-4.0.

mlx-community/parakeet-tdt_ctc-110m — конверсия модели NVIDIA Parakeet TDT-CTC 110M в формат MLX для запуска на устройствах Apple. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Базовая модель описана как англоязычная и формирует текст с пунктуацией и заглавными буквами. В основе лежит архитектура FastConformer/Conformer; репозиторий содержит веса safetensors и рассчитан на работу с библиотекой MLX. Модель распространяется по лицензии CC BY 4.0.

Qwen3-ASR-0.6B-Backpack-ASR — пакет Backpack с компактной многоязычной моделью распознавания речи Qwen3-ASR-0.6B, разработанной Qwen. Модель принимает аудио и преобразует речь в текст, включая определение языка. Подходит для транскрибации записей и интеграции в голосовые приложения; пакет рассчитан на использование в runtime Backpack и не заменяет выбранную пользователем чат-модель. В репозитории находятся неизменённые upstream-веса в формате safetensors и точности BF16; их размер — около 1,8 ГиБ, рекомендованный объём RAM — 5 ГБ. README сообщает об успешной проверке загрузки и детерминированного аудиовывода. Модель основана на Qwen/Qwen3-ASR-0.6B, веса не дообучались. Лицензия — Apache-2.0.

Røst v1 Whisper 1.5B — модель распознавания датской речи, разработанная Alvenir и дообученная на первом выпуске датасета CoRaL. Она основана на Whisper large-v3 от OpenAI и предназначена для преобразования датской речи в текст. В метаданных указано 905,2 млн параметров; модель использует архитектуру WhisperForConditionalGeneration и библиотеку Transformers. В карточке датская модель названа современной для своей задачи. Для сопоставления приведены результаты других моделей на CoRaL: ошибка символов (CER) 4,3% и ошибка слов (WER) 10,4% у Alvenir/coral-1-whisper-large; эти показатели не относятся к данной модели. Модель распространяется по лицензии OpenRAIL. Результаты оценки самой Røst v1 в карточке не приведены.

lgris/sew-tiny-portuguese-cv — модель распознавания речи, разработанная на основе lgris/sew-tiny-pt и дообученная на наборе Common Voice. Она использует архитектуру SEWForCTC и содержит 50,4 млн параметров. Модель принимает аудио и преобразует речь на португальском языке в текст. На оценочном наборе Common Voice указаны loss 0,5110 и WER 0,2842. Модель подходит для транскрибации португалоязычных аудиозаписей; качество может зависеть от акцента, шума и условий записи. Распространяется по лицензии Apache-2.0.

Speechless-llama3.2-v0.1 — компактная языковая модель семейства Llama, разработанная Homebrew Research как часть семейства Ichigo v0.5. Она преобразует аудио в текст и предназначена для распознавания речи на английском и вьетнамском языках. Модель содержит 1,2 млрд параметров, использует архитектуру Llama и имеет контекст 131 072 токена; в репозитории представлены веса Safetensors. В README приведены результаты оценки: WER 3,27 на LibriSpeech ASR для английского и 3,99 на viet_bud500 для вьетнамского. Модель рассчитана на сценарии распознавания речи, в том числе для языков с ограниченными ресурсами. Лицензия Apache 2.0. README описывает её как исследовательскую версию; метаданные также отмечают возможности генерации текста, однако основное назначение этой карточки — преобразование аудио в текст.

nrshoudi/speech_ocean_hubert_mdd — модель автоматического распознавания речи, полученная дообучением HuBERT-Large facebook/hubert-large-ll60k. Она принимает аудио и преобразует речь в текст; архитектура на основе HuBERT с CTC-головой содержит 402,8 млн параметров. В README приведены результаты на тестовой выборке: WER 0,0517, CER 0,0499 и loss 0,2027. Модель подходит для транскрибации аудиозаписей и распознавания речи в речевых интерфейсах. Язык и тематика обучающих данных не описаны, поэтому область языкового применения по имеющимся сведениям определить нельзя. Модель опубликована в формате safetensors по лицензии Apache-2.0.

ssc-led-model — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, чтобы преобразовывать речь в текст. В README приведены результаты оценки: loss 1,4926, CER 0,3156 и WER 0,7297. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Язык распознавания, обучающий набор данных и предполагаемые сценарии использования в карточке не уточнены.

ctaguchi/ssc-lth-model — модель распознавания речи, дообученная на основе facebook/wav2vec2-xls-r-300m с помощью Transformers. Она принимает аудио и преобразует речь в текст; размер модели — 402,7 млн параметров. В карточке приведены результаты оценки: CER 0,3085 и WER 0,7821, однако сведений о языке и наборе данных для обучения нет. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Указанные метрики оценки и отсутствие описания сценариев применения ограничивают возможность судить о качестве распознавания для конкретных языков и условий записи.

ssc-ttj-mms-model-mix-adapt-max — модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-выходом. В метаданных указано 1,3 млрд параметров; модель опубликована в формате Safetensors и использует библиотеку Transformers. Она принимает аудио и предназначена для преобразования речи в текст. В README приведены результаты оценки: CER 0,0697 и WER 0,3887 при loss 0,1838. Модель обучена с нуля на неизвестном наборе данных, поэтому нельзя определить поддерживаемые языки и области применения. Условия лицензии в предоставленных данных не указаны.

Карточка модели sanchit-gandhi/wav2vec2-2-bert-grid-search на Hugging Face совпадает с карточкой sanchit-gandhi/wav2vec2-gpt2-wandb-grid-search, поэтому описание составлено по ней. sanchit-gandhi/wav2vec2-gpt2-wandb-grid-search — модель распознавания речи на архитектуре SpeechEncoderDecoderModel. По карточке, её обучили с нуля на датасете LibriSpeech ASR; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей речи в текст. Карточка не приводит сведений о размере, контексте, языках, качестве распознавания или конкретных сценариях применения. Эти характеристики нельзя надёжно определить по имеющимся данным. Лицензия в доступных сведениях не указана.

foxxy-hm/wav2vec2-base-finetune-vi-v6 — модель автоматического распознавания речи на архитектуре wav2vec2 с классификационной головой CTC. В README указана тонкая настройка этой же модели; сведения о датасете и подробностях обучения отсутствуют. Модель содержит 402,8 млн параметров и опубликована в формате PyTorch. Модель предназначена для преобразования аудиоречи в текст. В README приведены результаты оценки: loss 0,2240 и WER 0,1296. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

GroNLP/wav2vec2-dutch-large-ft-cgn — модель распознавания нидерландской речи, разработанная на основе архитектуры Wav2Vec2. Исходную англоязычную facebook/wav2vec2-large дополнительно предварительно обучили на нидерландской речи из корпуса Het Corpus Gesproken Nederlands, а затем дообучили с помощью CTC. Модель содержит около 402,7 млн параметров и принимает аудио, выдавая распознанный текст. Модель предназначена для автоматической транскрипции нидерландской речи. В карточке указаны форматы PyTorch и Safetensors; лицензия и ограничения по применению в предоставленных данных не описаны.

ctaguchi/wav2vec2-kac — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m и реализованная на базе Wav2Vec2ForCTC. Она принимает аудио и преобразует речь в текст. В карточке приведены результаты оценки: CER 0,0452 и WER 0,1986; набор данных и условия оценки не описаны, поэтому эти показатели нельзя напрямую сопоставлять с результатами других моделей. Модель содержит около 402,7 млн параметров, распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Суффикс kac в названии может указывать на язык, однако README и метаданные не подтверждают, какой язык поддерживается, поэтому языковые характеристики здесь не уточняются.

Модель anuragshas/wav2vec2-large-xls-r-300m-bg — акустическая модель распознавания речи на базе Wav2Vec2, дообученная на болгарском разделе датасета Mozilla Common Voice 8.0. Базовая модель — facebook/wav2vec2-xls-r-300m; архитектура использует CTC для преобразования аудиоречи в текст. В репозитории указано 402,7 млн параметров и формат PyTorch. Модель предназначена для автоматической транскрипции болгарской речи, в частности записей, похожих на данные Common Voice. На тестовой выборке Common Voice 8 автор приводит WER 30,07% без языковой модели и 21,195% с языковой моделью; также указаны loss 0,2473 и WER 0,3002 на оценочной выборке. Эти результаты зависят от набора данных и процедуры оценки. Для использования требуются аудиоданные; результатом является текстовая транскрипция. Модель опубликована под лицензией Apache-2.0. Карточка содержит мало сведений о практических ограничениях и рекомендуемых условиях применения, поэтому качество на иных акцентах, условиях записи и типах речи по этим данным оценить нельзя.

DrishtiSharma/wav2vec2-large-xls-r-300m-bg-d2 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на болгарской части набора Mozilla Common Voice 8.0. Она использует архитектуру Wav2Vec2 с выходной головой CTC и предназначена для преобразования болгарской речи в текст. Модель подходит для транскрибации аудиозаписей и оценки качества систем распознавания болгарской речи. В карточке указаны значение WER 0,2860 и loss 0,3421 на тестовой выборке Common Voice 8.0. Репозиторий содержит веса PyTorch; размер модели — около 402,7 млн параметров. Лицензия — Apache-2.0.