I.9Аудио и музыка

Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-62 — дообученная версия facebook/mms-1b-all, созданная на наборе BEMGEN - BEM. Это модель распознавания речи на базе wav2vec2 с архитектурой Wav2Vec2ForCTC, предназначенная для преобразования аудио в текст. В карточке приведён результат оценки на тестовом наборе: CER 0,0532 и loss 12,3468. Размер модели — 1,3 млрд параметров. Языковая поддержка унаследована от многоязычной базовой MMS, рассчитанной более чем на тысячу языков, однако язык и область применения конкретного дообучения не уточнены. Для использования весов действует лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

MSP-ASR — модель распознавания английской речи из проекта Multimodal Speech Perception, разработанная MahmoodAnaam. Это дообученный энкодер Wav2Vec2 Large с CTC-головой, принимающий монофоническое аудио с частотой 16 кГц и преобразующий его в текст. Доступны жадное декодирование и декодирование с дополнительной 3-граммовой языковой моделью. Модель предназначена для транскрибации английской речи, в том числе в сценариях с несколькими говорящими и шумом. В отчёте указаны WER 6,30% на чистом тесте LRS2 и заметно более высокие ошибки в шумных условиях и на данных AVCocktail. Чекпойнт содержит 402,7 млн параметров, распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Nemotron 3 Diarization preview — предварительная модель NVIDIA для анализа многоголосой аудиозаписи и определения, кто и когда говорил. Она предназначена для диаризации речи в потоковом и офлайн-режимах; метаданные также относят её к voice activity detection и указывают на архитектуру Streaming Sortformer. Модель принимает аудио и выдаёт временные метки активности говорящих. Подробная карточка основной версии Nemotron 3 Diarization описывает Transformer-энкодер с 31 слоем и около 100 млн параметров, поддержку до восьми говорящих, потоковую обработку и разрешение выходных кадров 10 мс. Эти характеристики относятся к основной версии и не подтверждены отдельно для preview. Доступ к preview предоставляется по лицензии NVIDIA Software and Model Evaluation License для внутреннего тестирования и оценки: использование в производстве и запуск не на системах с NVIDIA GPU не разрешены. Карточка основной версии описывает её как готовую к коммерческому и некоммерческому применению под другой лицензией, поэтому её условия нельзя переносить на preview.

Parakeet RNNT 0.6B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Это версия FastConformer Transducer примерно с 600 млн параметров; модель принимает монофоническое аудио WAV с частотой 16 кГц и возвращает текстовую расшифровку. Она распознаёт английскую речь и выдаёт транскрипт строчными буквами английского алфавита. Модель обучена на 64 тысячах часов английской речи, включая публичные наборы данных и частную подборку. Её можно использовать для расшифровки отдельных записей и пакетной обработки аудиофайлов, а также как предварительно обученный чекпойнт для дообучения в NeMo. Для оценки качества в карточке приведены показатели WER на нескольких тестовых наборах; результаты указаны для жадного декодирования без внешней языковой модели. Для запуска предусмотрены NeMo и Transformers. Модель распространяется по лицензии CC BY 4.0. Карточка описывает распознавание английской речи; пригодность для других языков не заявлена.

Это версия весов NVIDIA Parakeet TDT 1.1B, преобразованная пользователем extraordinarylab из формата NeMo в формат Transformers для Hugging Face. В README указано, что веса не менялись; отличаются формат контрольной точки, конфигурация и оболочки токенизатора и экстрактора признаков. Модель использует энкодер FastConformer-XL из 42 слоёв с размерностью 1024 и голову TDT (Token-and-Duration Transducer) с длительностями токенов от 0 до 4; словарь содержит 1024 BPE-токена и blank-токен. Модель предназначена для автоматической транскрипции английской речи в текст. Она выдаёт текст в нижнем регистре без пунктуации. В README описана проверка совпадения с NeMo на двух фрагментах LibriSpeech: совпали выходы жадного декодирования и транскрипции. Репозиторий использует Transformers и формат safetensors. Лицензия — CC BY 4.0.

Klang Pianissimo — модель автоматического распознавания шведской речи, разработанная Klang как дообучение NVIDIA Parakeet TDT 0.6B v3. Она рассчитана на транскрибацию коротких аудиоклипов и длинных записей; поддерживает пунктуацию, заглавные буквы, временные метки слов и фраз, а также усиление пользовательского словаря для имён и терминов. Модель содержит около 600 млн параметров и использует энкодер FastConformer с декодером Token-and-Duration Transducer (TDT), сохраняя архитектуру и токенизатор Parakeet v3. На вход подаётся монофоническое аудио 16 кГц; локальное внимание обеспечивает контекст около 20,5 секунды в каждом направлении на слой и помогает обрабатывать длинные записи. В README приведены результаты для шведской речи: WER 4,46% на Common Voice и 6,51% на FLEURS. Разработчик сообщает о высокой скорости работы, включая обработку часа аудио за секунду на H100. Модель обучалась на примерно 50 000 часах шведской речи. Качество может снижаться при перекрывающейся речи, сильном фоновом шуме, редких именах и специальной лексике; форматирование чисел и пунктуацию может потребоваться исправлять. Оценка сосредоточена на шведском языке, поэтому качество для других языков и переключения языков не установлено. Лицензия — CC BY 4.0.

Raon-Speech-9B — 9-миллиардная мультимодальная SpeechLM от KRAFTON, построенная на Qwen3. Модель объединяет языковую модель Qwen3, аудиоэнкодер-декодер Qwen3Omni, кодек Mimi и энкодер голоса ECAPA-TDNN. Она предназначена для распознавания и понимания речи, ответов на вопросы по аудио и тексту, а также синтеза речи на английском и корейском языках. Модель поддерживает преобразования аудио в текст и текста в аудио, ответы на вопросы с текстовым и аудиовходом и диалоговые сценарии с речью. Для синтеза можно передавать образец голоса, а также продолжать речь с заданного аудиофрагмента. В README заявлена оптимизация для потоковой генерации с низкой задержкой; приведены результаты скорости синтеза на RTX 6000 Pro и L40S. Для запуска README указывает Transformers версии от 4.57.1 до 5.0 и PyTorch; для обусловливания голоса требуется SpeechBrain. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Модель требует значительных вычислительных ресурсов, а заявленные возможности и скорость не гарантируют одинакового качества на всех данных и конфигурациях.

Erik Mkrtchyan разработал модель w2v-bert-2.0-armenian-CV20.0 — дообученную на базе facebook/w2v-bert-2.0 модель распознавания речи с архитектурой Wav2Vec2-BERT и выходной головой CTC. Она принимает аудио и предназначена для преобразования армянской речи в текст. В оценке модели указаны loss 0,1436 и WER 0,1106. Модель содержит 402,7 млн параметров, опубликована в формате Safetensors и рассчитана на работу через Transformers. Лицензия — MIT. README не сообщает подробностей о наборе данных, условиях записи речи или ограничениях применимости, поэтому качество на других типах аудио и за пределами армянского языка по приведённой оценке определить нельзя.

artoowang/w2v-bert-2.0-en-colab-CV16.0 — дообученная модель распознавания речи на базе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2BertForCTC и принимает аудио, преобразуя речь в текст. В README приведены результаты оценки: loss 0,3282 и WER 0,1287; набор данных указан как None. Модель содержит 402,7 млн параметров и доступна в формате safetensors для библиотеки Transformers. По названию репозитория она ориентирована на английскую речь, однако README не уточняет языковое покрытие, условия оценки и предполагаемые сценарии применения. Лицензия — MIT.

Модель Nachuwu/wav2vec2-fleur-mms-batch6-epoch16-finetunning — дообученная версия Wav2Vec2 для автоматического распознавания речи и преобразования аудио в текст. Она обучена на наборе данных audiofolder и использует архитектуру Wav2Vec2ForCTC; размер модели — 1,3 млрд параметров. На оценочном наборе указаны loss 0,7739 и WER 0,5252. Карточка не описывает языки, аудиоформат или условия применения. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

DrishtiSharma/wav2vec2-large-xls-r-300m-bg-v1 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на болгарской части набора Mozilla Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров; принимает аудио и выдаёт распознанный текст на болгарском языке. Модель предназначена для преобразования болгарской речи в текст, в том числе для оценки качества распознавания на тестовых и проверочных аудиоданных. В карточке приведены результаты на тестовом наборе Common Voice 8.0: WER 0,4689 и loss 0,5197. Модель распространяется под лицензией Apache 2.0.

Galuh/wav2vec2-large-xlsr-indonesian — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на индонезийском наборе Common Voice. Она преобразует аудиозапись речи в текст и рассчитана на распознавание индонезийской речи. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; входное аудио должно иметь частоту дискретизации 16 кГц. В README приведён результат оценки 18,32% на тестовых данных Common Voice; метрика не уточнена. Указана лицензия Apache-2.0. Карточка не описывает дополнительные ограничения и сценарии использования.

Wav2Vec2-Large-XLSR-53-Mongolian-v1 — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на монгольских данных Common Voice. Это модель архитектуры wav2vec2 с декодером CTC и примерно 402,7 млн параметров; доступны версии PyTorch и Flax. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц. Модель предназначена для транскрибации монгольской речи, в том числе записей, похожих на данные Common Voice; карточка приводит результат тестирования 34,64%, но не уточняет метрику в доступном описании. Распространяется по лицензии Apache-2.0.

NbAiLab/wav2vec2-xlsr-300m-norwegian2 — модель автоматического распознавания речи, опубликованная Nasjonalbiblioteket AI Lab. Она предназначена для преобразования норвежской речи в текст и может использоваться через Transformers как ASR-модель с выходом на основе CTC. По названию и размещению в коллекции NbAiLab модель ориентирована на норвежский язык, однако точная поддержка вариантов языка, состав обучающих данных и область применения в карточке модели подробно не описаны. Модель основана на архитектуре wav2vec2/XLSR и содержит около 0,3 млрд параметров; опубликованные веса имеют тип F32 и доступны в формате Safetensors. Она принимает аудио и возвращает текст, но сведения о максимальной длительности или размере контекста, точности, тестовых наборах, устойчивости к шуму и других ограничениях отсутствуют. Лицензия на странице репозитория обозначена как CC, без уточнения конкретного варианта Creative Commons; README модели пуст, поэтому условия коммерческого и иного использования требуют проверки по исходному репозиторию.

NbAiLab/wav2vec2-xls-r-300m-npsc-bokmaal — модель распознавания речи на базе архитектуры wav2vec2 с выходной головой CTC. В метаданных указано около 402,7 млн параметров; модель опубликована в формате PyTorch и предназначена для преобразования аудио в текст на норвежском букмоле. Она связана с датасетом NbAiLab/NPSC, а в карточке приведены результаты оценки: WER 0,0932 и loss 0,1663. Модель подходит для транскрибирования речи на букмоле. Репозиторий использует лицензию Apache-2.0. Карточка не содержит подробностей о составе обучающих данных, условиях оценки или ограничениях применения, поэтому приведённые метрики не следует считать гарантией качества на других аудиозаписях.

techiaith/wav2vec2-xlsr-53-ft-cy-en — акустическая модель распознавания валлийской и английской речи, разработанная Techiaith. Она дообучена на основе facebook/wav2vec2-large-xlsr-53 с использованием спонтанной речи из корпуса Banc Trawsgrifiadau Bangor и валлийских и английских данных Common Voice 16.1. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Она принимает аудио и преобразует речь в текст; основное назначение — транскрибация валлийской и английской речи. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

DrishtiSharma/wav2vec2-xls-r-sl-a2 — модель распознавания речи, дообученная Drishti Sharma на базе facebook/wav2vec2-xls-r-300m на словенской части Mozilla Common Voice 8.0. Это архитектура Wav2Vec2 с классификацией CTC, содержащая 402,7 млн параметров и принимающая аудио для преобразования речи в текст. Для набора оценки Common Voice 8.0 указаны Loss 0,2855 и WER 0,2401. Модель предназначена для автоматической транскрипции речи на словенском языке, например записей и голосовых высказываний. Распространяется в формате PyTorch по лицензии Apache-2.0. Показатель WER получен на указанном наборе оценки; README не приводит результаты для других наборов или условий записи.

patrickvonplaten/wavlm-libri-clean-100h-large — модель распознавания речи на основе WavLM-Large, дообученная на чистой части датасета LibriSpeech ASR. Она предназначена для преобразования аудиозаписей речи в текст; архитектура использует CTC и содержит около 402,7 млн параметров. В README указаны результаты на оценочном наборе: WER 0,0491 и loss 0,0601. Модель может подойти для транскрибации записей, близких по условиям к чистой речи LibriSpeech. Метаданные указывают на PyTorch и обработку аудио. README не сообщает лицензию и дополнительные ограничения, поэтому условия использования следует сверить с базовой моделью и датасетом.

Модель pnawani/welsh-asr-xlsr-300m разработана как дообученная версия Facebook wav2vec2-XLS-R 300M для автоматического распознавания речи на валлийском языке. Это модель архитектуры Wav2Vec2ForCTC с символьной CTC-головой; она принимает аудио и выдаёт текст. Обучение выполнено на 11,3 часа валлийской части набора FLEURS. На тесте FLEURS авторы сообщают WER 0,3991 и CER 0,1141; в их сравнении с Whisper-small без дообучения модель показала лучшие результаты на том же тестовом аудио и при одинаковой нормализации текста. Модель подходит для транскрибации записанной валлийской речи, особенно чтения вслух, похожего на данные FLEURS. Лицензия — Apache-2.0. Модель хуже подходит для спонтанной разговорной речи и диалектов, недостаточно представленных в обучающих данных.

DrishtiSharma/whisper-large-v2-marathi — дообученная версия Whisper Large V2, созданная на основе openai/whisper-large-v2 на наборе Common Voice 11.0. Это плотная модель архитектуры Whisper с примерно 905,2 млн параметров, предназначенная для автоматического распознавания речи на маратхи и преобразования аудио в текст. В карточке приведён результат оценки на тестовой выборке: WER 13,644 и loss 0,1975. Модель принимает аудио и выдаёт текст. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Оценка приведена для указанного набора данных, поэтому она не гарантирует такое же качество на других типах записей, акцентах или условиях записи.

Whisper Large v3 Turbo Uzbek v1 — R. Nematov (Lynx) разработал эту модель на базе openai/whisper-large-v3-turbo для преобразования узбекской речи в текст. Это дообученная и дополнительно настроенная версия Whisper с 905,2 млн параметров, предназначенная для распознавания узбекской речи, включая региональные диалекты и акценты. В README указано, что модель адаптирована к узбекскому алфавиту, вариантам апострофа и распространённым разговорным выражениям, чтобы уменьшить смешение с близкими языками. Модель принимает аудио и выдаёт текст. Автор заявляет высокую скорость распознавания и хорошее качество на чистой литературной и дикторской речи, но это оценка из карточки, без описания независимого тестирования. Указаны данные DavronSherbaev/uzbekvoice-filtered и отобранные узбекские аудиозаписи. Модель опубликована в формате safetensors под лицензией Apache-2.0, разрешающей коммерческое и некоммерческое использование.

Whisper-large-v3-vaani-hindi — модель распознавания речи на базе Whisper, дообученная на примерно 718 часах транскрибированной речи на хинди из нескольких наборов данных. В README базовой моделью названа OpenAI Whisper Large V3, а метаданные указывают openai/whisper-small; поэтому точный исходный чекпойнт неясен. Модель предназначена для преобразования речи на хинди в текст. Её можно запускать через pipeline из библиотеки Transformers. В README приведены результаты оценки на Gramvaani, Fleurs и MUCS; значение WER зависит от набора данных. Модель принимает аудио и выдаёт текст. Поддержка других языков не подтверждена. Лицензия — Apache-2.0.

Модель devalade/whisper-large-v3-yoruba-colab — дообученная devalade версия Whisper large-v3 для автоматического распознавания речи и преобразования аудио в текст. Она принимает аудио и выдаёт текстовую транскрипцию; объём модели составляет 905,2 млн параметров. В README указано, что обучение проводилось с использованием Unsloth и библиотеки TRL для Hugging Face. Модель предназначена для распознавания речи на йоруба, что следует из названия репозитория; метаданные карточки отдельно указывают английский язык. Она распространяется по лицензии Apache-2.0. В карточке нет сведений о длине контекста или оценках качества на конкретных наборах данных.

Модель bayartsogt/whisper-medium-mn-10 — дообученная версия Whisper Medium, разработанная на основе openai/whisper-medium для распознавания речи. Она принимает аудио и генерирует текст; в метаданных указаны датасеты Common Voice 11.0, FLEURS и два монгольских набора данных. Модель содержит 455,8 млн параметров и распространяется в формате PyTorch по лицензии Apache-2.0. На оценочном наборе указаны WER 21,26 и CER 6,88. Модель предназначена прежде всего для автоматической транскрипции речи, в том числе монгольской. В README отсутствуют подробности о составе обучающих данных, рекомендуемых сценариях и ограничениях; показатели оценки сами по себе не гарантируют точность на других аудиозаписях.

taesiri/whisper-small-fa-7 — модель распознавания речи, созданная дообучением Whisper Small от OpenAI на наборе Common Voice 11.0. Она преобразует аудио в текст и рассчитана на распознавание персидской речи. Архитектура — WhisperForConditionalGeneration; модель содержит 153,1 млн параметров. В карточке приведены результаты оценки на тестовой выборке: loss 0,6904 и WER 34,2597. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

Whisper Small Hi — модель распознавания речи, созданная Sanchit Gandhi дообучением openai/whisper-small на наборе Common Voice 11.0. Она предназначена для преобразования аудиозаписей на хинди в текст; архитектура — Whisper с примерно 153,1 млн параметров. В метаданных указаны реализации PyTorch, TensorFlow и формат safetensors, а лицензия — Apache-2.0. На тестовой выборке модели указаны loss 0,4519 и WER 32,0113. Эти результаты относятся к оценке на Common Voice 11.0 и не гарантируют такое же качество на других источниках аудио. Карточка не приводит сведения о длине контекста и подробных ограничениях применения.

Xenova/whisper-tiny.en — версия модели openai/whisper-tiny.en, подготовленная командой Xenova и снабжённая весами в формате ONNX для совместимости с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи на английском языке и может использоваться в веб-приложениях и JavaScript-проектах для транскрибации аудио. Поддерживаются обычная транскрибация, вывод временных интервалов для фрагментов текста и временные метки на уровне отдельных слов. Модель относится к семейству Whisper, однако в README не указаны её точная архитектура, число параметров, размер контекста, требования к ресурсам и характеристики качества. Английская специализация ограничивает применение сценариями с английской речью; другие языки README не заявляет. Модель удобна для запуска через Transformers.js и ONNX, включая обработку аудио по URL. Лицензия — Apache-2.0. README не содержит сведений о конкретных ограничениях использования, устойчивости к шуму или сравнительных показателях качества.

mlx-community/whisper-tiny.en-8bit — компактная модель распознавания речи на основе Whisper tiny.en от OpenAI, преобразованная в формат MLX сообществом mlx-community с помощью mlx-audio-plus версии 0.1.4. Она предназначена для преобразования англоязычной речи в текст и подходит для транскрибирования аудиозаписей и голосового ввода. Репозиторий содержит веса в формате safetensors; модель использует архитектуру Whisper и библиотеку mlx-audio-plus. Лицензия — Apache-2.0. Карточка не приводит отдельных оценок качества или известных ограничений.

onnx-community/whisper-tiny.en_timestamped — это версия модели openai/whisper-tiny.en с весами в формате ONNX, подготовленная сообществом onnx-community для совместимости с библиотекой Transformers.js. Репозиторий предназначен для запуска модели в веб-среде и других сценариях, где требуется формат ONNX. Модель основана на Whisper и предназначена для автоматического распознавания речи на английском языке с возможностью получения временных меток. В README не указаны точные сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых модальностях и лицензии. Также не описаны количественные показатели качества, поэтому сильные стороны и ограничения можно оценить только в общих чертах: ONNX-формат упрощает использование в совместимых веб- и клиентских приложениях, но конкретные требования к производительности и точности зависят от среды выполнения и сценария.

Модель wrice/whisper-tiny-grpo-5e2f49e-cv22-tiny-sftadaptive — компактная модель распознавания речи на базе Whisper Tiny от OpenAI, дообученная автором репозитория методом GRPO с комбинированной наградой за ошибки слов и символов. Она предназначена для преобразования аудио в текст; при обучении использовался набор cv22_index с данными Common Voice для 78 языковых локалей, а язык клипа задавался по локали набора данных. Для контрольной выборки сообщаются общие WER 0,671 и CER 0,290 после нормализации текста. Модель доступна в формате safetensors через Transformers и распространяется по лицензии MIT. Это экспериментальная проверка метода обучения, а качество в реальных условиях зависит от языка, предметной области, акцента и качества аудио.