I.9Аудио и музыка

Systran публикует конверсию модели распознавания речи OpenAI Whisper medium.en в формат CTranslate2. Её можно использовать через CTranslate2 и совместимые проекты, включая faster-whisper, для преобразования английской речи в текст. Весовые параметры сохранены в FP16; при загрузке через CTranslate2 можно выбрать другой тип вычислений. Репозиторий предназначен для автоматического распознавания речи на английском языке. Модель использует лицензию MIT. Карточка описывает конверсию весов, а не новое обучение; подробности об исходной архитектуре и ограничения предлагается смотреть в карточке OpenAI Whisper medium.en.

Fun-ASR-Nano-2512 — компактная модель распознавания речи от Tongyi Lab, входящая в экосистему FunASR. По карточке модели, она содержит 800 млн параметров и обучена на десятках миллионов часов реальной речи. Модель предназначена для преобразования речи в текст, включая потоковую транскрипцию с низкой задержкой. Она распознаёт китайский, английский и японский языки; для китайского заявлена поддержка семи диалектов и 26 региональных акцентов. Также карточка описывает распознавание пения и рэпа, работу с фоновой музыкой, дальним звуком и шумными условиями, а метаданные указывают многоязычную поддержку. Репозиторий использует FunASR и формат PyTorch. Лицензия — Apache 2.0. В карточке упомянута точность до 93% для дальнего звука и шумной среды, но методика и условия этого показателя в доступном тексте не раскрыты. Возврат временных меток и диаризация говорящих перечислены как TODO, поэтому эти возможности не следует считать поддерживаемыми этой версией.

GigaAM-v3 RNNT — модель распознавания речи, разработанная Sber и опубликованная в исходном виде в репозитории ai-sage/GigaAM-v3; эта версия подготовлена для loom.cpp. Она преобразует аудио в текст и рассчитана на распознавание русской и английской речи. В основе лежит архитектура Conformer с предсказанием RNNT. Репозиторий содержит неизменённые веса исходной модели, упакованные в один файл GGUF для запуска через loom-py-rt. Модель подходит для транскрибации аудиозаписей и обработки речи приложениями, использующими loom.cpp. Лицензия — MIT. Карточка не приводит численный размер модели или длину контекста; эти характеристики здесь не указаны.

Sanat-agrwl/indic-whisper-ctc-timestamps — модель Саната Кумара Агравала и Шриканта Раджа Четупатли для распознавания речи на хинди с временными метками слов. Это Whisper large-v2, дообученная для хинди и дополненная символьной CTC-головой, которая использует то же представление аудио, что и декодер транскрипции. Модель выполняет один проход энкодера: декодер формирует текст, а CTC-голова оценивает границы слов с разрешением 20 мс. Модель подходит для транскрибирования хинди-речи и автоматической разметки начала и конца каждого слова. В тесте IndicVoices-R для хинди указана WER 14,6%; среднее расхождение границ с внешним выравнивателем составляет 20,8 мс, однако это согласие между системами, а не точность относительно человеческой разметки. По README, калибровка уменьшает среднюю ошибку относительно человеческой разметки с 74,5 до 43,0 мс. Распространяется по лицензии Apache-2.0.

NVIDIA Parakeet TDT 0.6B v3 — многоязычная модель распознавания речи на 600 млн параметров, доступная в формате Transformers. Она использует архитектуру FastConformer-TDT и предназначена для преобразования речи в текст с автоматическим определением языка аудио. Поддерживает 25 европейских языков, включая русский и английский. Модель подходит для транскрибации разговоров и длинных записей, создания субтитров, голосовых помощников и аналитики речи. Она добавляет пунктуацию и заглавные буквы, а также может выдавать временные отметки на уровне слов и сегментов. Принимает монофоническое аудио 16 кГц; в README заявлена обработка записей до 24 минут с full attention на A100 80 ГБ или до 3 часов с local attention. Модель выпущена NVIDIA под лицензией CC BY 4.0, допускающей коммерческое и некоммерческое использование при соблюдении её условий. README отмечает оптимизацию для систем с GPU NVIDIA. Среди ограничений указаны отсутствие мер по снижению смещения и возможное влияние различий между европейским и бразильским вариантами португальского на результаты оценки.

Это 8-битная версия модели MOSS-Transcribe-Diarize, подготовленная для запуска через MLX. В README указано, что квантизован текстовый блок модели методом affine quantization с bits=8 и group_size=64; аудиоэнкодер Whisper и VQ-адаптер не квантизованы. По метаданным архитектура обозначена как плотная модель MossTranscribeDiarizeForConditionalGeneration, библиотека — MLX. Модель предназначена для распознавания речи и диаризации говорящих в аудиозаписях. Пример запуска из README принимает WAV-файл и сохраняет результаты в указанную папку. Метаданные также указывают поддержку генерации текста. Модель распространяется по лицензии Apache-2.0. Квантизация затрагивает только текстовый блок; README не приводит измерений качества или требований к ресурсам.

nemotron-3.5-asr-streaming-0.6b-gguf — это квантованные GGUF-версии модели NVIDIA nemotron-3.5-asr-streaming-0.6b, подготовленные проектом handy-computer для transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования речи в текст в офлайн- и потоковом режимах, включая приложения с пониженной задержкой и обработку аудио в реальном времени. Модель содержит около 0,6 млрд параметров и использует кэшируемый streaming FastConformer-энкодер с prompt-conditioned RNN-T-декодером. Поддерживаются 32 языковые локали, включая английский, испанский, французский, немецкий, русский, китайский, японский, корейский, арабский, хинди и другие европейские и азиатские языки. Доступны пунктуация и капитализация, автоматическое определение языка и токенные временные метки. Перевод речи не поддерживается. Для разных требований к памяти и скорости доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M; размер файлов составляет примерно от 496 МБ до 2,55 ГБ. Сильные стороны модели — потоковая работа, мультиязычность и близкая к эталонной NeMo точность. На тесте LibriSpeech test-clean заявленная частота ошибок слов составляет около 3,04% для F32, а на английской части FLEURS — около 7,9%; у более сильной квантизации точность снижается умеренно. Ограничения включают отсутствие перевода, зависимость качества от языка, квантизации и акустических условий, а также необходимость подачи аудио в формате 16 кГц, моно WAV либо предварительного преобразования. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели; для запуска используется transcribe.cpp.

bezzam/omniasr-llm-300m-v2 — версия модели семейства OmniASR LLM-ASR v2, размещённая пользователем bezzam и основанная на разработанной командой Omnilingual ASR модели Meta. Предназначена для автоматического распознавания речи: на вход подаётся аудио, на выходе получается текстовая транскрипция; доступна опциональная языковая подсказка. Семейство OmniASR создано для многоязычного распознавания, включая языки с ограниченными обучающими данными. Архитектура — энкодер-декодер: речевой энкодер на основе wav2vec 2.0 соединён с декодером, вдохновлённым LLM. Вариант 300M v2 содержит около 1,63 млрд параметров и относится к моделям с ограниченной длиной аудио; для более длинных записей в семействе есть отдельная версия Unlimited. Репозиторий автора содержит веса safetensors, а официальный проект сообщает о поддержке более 1600 языков в семействе OmniASR. Версия v2 относится к выпуску контрольных точек с улучшенной точностью распознавания по сравнению с ранними LLM-ASR моделями семейства. Omnilingual ASR и его модели выпущены под лицензией Apache 2.0. Конкретные оценки качества и ограничения этой HF-перепубликации отдельно в карточке не описаны; общие результаты семейства нельзя считать гарантией для каждого языка или аудиозаписи.

jadasdn/open-ai-small-1 — дообученная версия мультиязычной модели распознавания речи Whisper Small от OpenAI. Модель предназначена для преобразования аудио речи в текст; в метаданных указаны архитектура Whisper и 153,1 млн параметров. Карточка сообщает результат оценки: WER 26,8582 и loss 0,3844, однако без описания набора данных и протокола оценки эти значения трудно интерпретировать. Модель принимает аудио и выдаёт текст. Она основана на openai/whisper-small и опубликована в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0. Сведения о целевых языках и конкретной области применения дообучения не приведены.

jadasdn/open-ai-small-2 — дообученная модель распознавания речи на архитектуре Whisper, разработанная на основе jadasdn/open-ai-small-1. Она предназначена для преобразования входящей речи в текст; в карточке указаны 153,1 млн параметров и результат оценки WER 21,4497. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка сообщает о дообучении на наборе данных, обозначенном как None, но не описывает его состав, языки, условия оценки или ограничения. Поэтому качество распознавания для конкретных языков и аудиосценариев по приведённым данным определить нельзя.

Parakeet CTC 0.6B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она предназначена для преобразования английской речи в текст, например для расшифровки записей и обработки аудио в больших пакетах. Модель построена на архитектуре FastConformer CTC и содержит около 600 млн параметров. Она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает текстовую расшифровку; выход оформляется строчными буквами английского алфавита. Обучение проводилось на 64 тысячах часов английской речи из частных и открытых наборов данных. Для работы предусмотрены NVIDIA NeMo и Transformers. Модель рассчитана на английский язык; в README приведены результаты оценки по Word Error Rate для нескольких наборов данных, но фактическое качество зависит от аудио и предметной области. Лицензия — CC BY 4.0.

Parakeet TDT-CTC 0.6B Japanese GGUF — конверсия модели nvidia/parakeet-tdt_ctc-0.6b-ja, подготовленная для использования с CrispASR. Это модель автоматического распознавания речи, предназначенная для транскрибации японской речи из монофонических аудиозаписей с частотой 16 кГц, включая расстановку пунктуации и получение временных меток на уровне слов или токенов. Модель содержит около 600 млн параметров и использует гибридную архитектуру FastConformer с 24 слоями, декодером TDT (Token-and-Duration Transducer) и дополнительной CTC-головой, которую можно выбрать во время выполнения. Входной аудиосигнал обрабатывается через 80 мел-фильтров; словарь включает 3072 токена SentencePiece для японского языка с пунктуацией. TDT обеспечивает встроенные временные метки без отдельной модели выравнивания. Для коротких записей доступны варианты F16, Q8_0 и Q4_K; F16 соответствует результатам официального конвейера NeMo, а Q8_0 сохраняет идентичный TDT-вывод в заявленных тестах. Сильные стороны модели — специализированная поддержка японского языка, пунктуация, встроенные временные метки и возможность выбора между TDT и CTC. Ограничением является чувствительность энкодера к контексту длиннее примерно 12 секунд при однопроходной обработке; для длинных записей рекомендуется использовать CrispASR с VAD-сегментацией и ограничением длительности фрагментов. Вариант Q4_K может вызывать зацикливание при TDT-декодировании, поэтому для него рекомендуется CTC или более точный Q8_0. Указанная лицензия — CC-BY-4.0.

nvidia/parakeet-tdt-0.6b-v3 — модель автоматического распознавания речи, разработанная NVIDIA. Она преобразует аудиозаписи в текст и предназначена для транскрибации речи в приложениях, работающих с аудио, включая записи встреч, выступлений и других разговорных сценариев. Модель интегрируется с Transformers и обучалась с использованием наборов данных NVIDIA Granary и nemo/asr-set-3.0. Модель содержит около 0,6 млрд параметров и использует архитектуру FastConformer/Conformer с компонентами Transformer и TDT (Token-and-Duration Transducer). Поддерживается широкий набор языков, включая английский, испанский, французский, немецкий, русский, украинский и другие европейские языки. В README не указана длина контекста. На тестах заявлены значения WER от 1,93% на LibriSpeech clean до 20,7% на греческом варианте FLEURS; качество зависит от языка и акустических условий. Ограничения по шуму, качеству записи и доменной адаптации отдельно не описаны. Лицензия — CC BY 4.0.

Карточка модели VoiceScribe/parakeet-tdt-0.6b-v3-mlx на Hugging Face совпадает с карточкой mlx-community/parakeet-tdt-0.6b-v3, поэтому описание составлено по ней. Это версия модели NVIDIA Parakeet-TDT-0.6B-v3, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple. Модель основана на архитектуре FastConformer с Transducer-подходом и предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст. Размер модели — около 0,6 млрд параметров; репозиторий содержит веса Safetensors и распространяется по лицензии CC BY 4.0. Модель поддерживает распознавание речи на нескольких европейских языках, включая английский, испанский, французский, немецкий, русский и другие. Её можно применять для транскрибации аудиозаписей и диктовки; для запуска доступны библиотеки parakeet-mlx и mlx-audio. Это конвертированная версия исходной модели NVIDIA, поэтому её характеристики распознавания определяются базовой моделью, а совместимость и производительность зависят от MLX и оборудования Apple.

Это экспорт многоязычной модели распознавания речи Qwen3-ASR-0.6B, разработанной Alibaba. Репозиторий подготовлен для loom.cpp и содержит веса в формате GGUF; README указывает, что параметры модели не изменены относительно Qwen/Qwen3-ASR-0.6B. Модель предназначена для преобразования аудио в текст. Её можно запускать через библиотеку loom-py-rt; экспорт включает необходимые для работы графы и драйвер. Поддерживаются китайский, английский, кантонский и ряд других языков, включая русский. Модель распространяется по лицензии Apache-2.0. Это экспорт исходных весов, поэтому его возможности и ограничения определяются базовой моделью Qwen3-ASR-0.6B; подробные сведения о точности и условиях аудиозаписи в карточке не приведены.

Community-1 — конвейер диаризации речи от pyannote, предназначенный для определения, кто и когда говорит в аудиозаписи. Он принимает монофонический звук с частотой 16 кГц; стерео и многоканальные записи автоматически сводятся к моно, а звук с другой частотой дискретизации преобразуется в 16 кГц. Результат включает обычную диаризацию и эксклюзивную разметку говорящих, упрощающую сопоставление с временными метками транскрипции. Модель улучшает назначение и подсчёт говорящих по сравнению с предыдущей версией pyannote speaker-diarization-3.1. Она подходит для локальной обработки, включая автономный режим, и может выполняться на CPU или GPU через библиотеку pyannote.audio. При известном или ограниченном числе говорящих это число можно задать при обработке. Несмотря на тег automatic-speech-recognition в метаданных, README описывает именно диаризацию, а не распознавание слов; транскрипт модель не выдаёт. Модель распространяется по лицензии CC BY 4.0. Для загрузки из Hugging Face необходимо принять условия использования и создать токен доступа. README приводит результаты оценки на нескольких академических наборах данных, но не гарантирует такие же показатели на конкретных записях; качество может зависеть от акустических условий и перекрывающейся речи.

Voz — модель распознавания речи, созданная Desert Ant Labs на основе NVIDIA Parakeet TDT 0.6B v3. Разработчики преобразовали и сжали исходные веса для запуска на iPhone, iPad, Mac, Windows, в браузере и Node.js; по README, сами веса при этом не дообучались. Модель обрабатывает аудио окнами по 15 секунд и выдаёт текст транскрипции с временными отметками для отдельных слов. Поддерживаются 25 языков, включая русский. Для Apple-устройств используется Core ML с выполнением на Neural Engine; также доступны форматы ONNX и TFLite. Voz предназначена для локальной транскрипции записей, включая длинные файлы, с низкими требованиями к памяти и без отправки аудио с устройства. Заявленные результаты близки к Whisper large-v3-turbo, но точность зависит от языка и типа записи: модель лучше справляется с совещаниями, чем с подготовленной и дикторской речью; в подкастах разработчики советуют проверять примерно каждое десятое слово. Средняя ошибка временных отметок составляет около 83 мс для начала и 95 мс для конца слова. Модель распространяется на условиях CC BY 4.0, унаследованных от Parakeet TDT 0.6B v3.

Sagicc/w2v-bert-2.0-sr — модель распознавания речи, дообученная на базе facebook/w2v-bert-2.0 на датасете Common Voice 16.1. Она использует архитектуру Wav2Vec2BertForCTC и принимает аудио, преобразуя речь в текст. В оценке на тестовой выборке указаны loss 0,1469 и WER 0,0534; применимость этих показателей зависит от состава и условий оценки. Модель предназначена для автоматической транскрибации речи. В карточке не уточнены язык записей и условия, для которых получены метрики. Вес модели — около 402,7 млн параметров; опубликована в формате Safetensors. Лицензия — MIT.

Nachuwu/wav2vec2-fleur-mms-batch6-epoch16 — модель автоматического распознавания речи на архитектуре Wav2Vec2, дообученная на базе facebook/mms-1b-FL102 на наборе данных audiofolder. Модель принимает аудио и выдаёт распознанный текст; карточка сообщает о размере 1,3 млрд параметров. На оценочной выборке указаны loss 0,9813 и WER 0,4603. Эти значения описывают только приведённую оценку и не гарантируют качество на других данных. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Wav2Vec2-Large-960h-Lv60 — модель распознавания речи, разработанная Facebook. Это архитектура wav2vec 2.0 с примерно 402,7 млн параметров, реализованная как Wav2Vec2ForCTC. Модель предварительно обучена на аудио из Libri-Light и дообучена на 960 часах размеченной речи из LibriSpeech; она принимает речь с частотой дискретизации 16 кГц и преобразует её в текст на английском языке. Модель предназначена для транскрибации английской речи, в том числе записей, подобных аудиокнигам и тестовым наборам LibriSpeech. В описании исследования приведены результаты 1,8/3,3 WER на тестовых наборах LibriSpeech clean/other при обучении на всех размеченных данных; качество на иных типах аудио может отличаться. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Это дообученная модель распознавания речи tomascufaro/wav2vec2-large-xls-r-300m-spanish-custom, созданная на основе facebook/wav2vec2-xls-r-300m и обученная на Common Voice. Модель использует архитектуру wav2vec2 с CTC-декодером и принимает аудио, преобразуя речь в текст; заявленная задача — автоматическое распознавание речи. На оценочной выборке указаны loss 0,4426 и WER 0,2117. Модель предназначена для распознавания испанской речи, однако подробности о варианте испанского, настройках аудио и качестве в разных условиях не приведены. Веса опубликованы в формате PyTorch, лицензия — Apache-2.0.

Ilyes разработал модель распознавания французской речи на базе wav2vec2-large-xlsr-53. Это плотная модель с архитектурой Wav2Vec2ForCTC и 402,7 млн параметров, принимающая аудио и преобразующая речь в текст. Модель дообучена и оценена на французской части Common Voice; в карточке указаны WER 12,82% и CER 4,40% на тестовой выборке Common Voice FR. Модель подходит для транскрибации французской речи, например записей и аудиоматериалов. Она распространяется под лицензией Apache-2.0.

Sagicc/whisper-base-sr-yodas — модель распознавания речи на базе Whisper от OpenAI, дообученная на наборе данных YODAS. Она предназначена для преобразования аудио в текст; метаданные указывают на поддержку аудио на входе, а карточка приводит результаты оценки: WER 0,2450 и WER Ortho 0,3334. В репозитории указано 51,7 млн параметров и формат safetensors. Модель распространяется по лицензии Apache-2.0.

jlvdoorn/whisper-large-v3-atco2-asr-atcosim — дообученная модель семейства Whisper, созданная на базе openai/whisper-large-v3. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В карточке приведены результаты оценки: loss 0,1039 и WER 22,2698; сведения о наборе данных и сценариях обучения не раскрыты. Модель содержит около 905,2 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0.

fsicoli/whisper-large-v3-pt-1000h — дообученная модель распознавания речи на базе Whisper large-v3 от OpenAI, опубликованная fsicoli. Она принимает аудио и генерирует текстовую транскрипцию. В метаданных указаны архитектура WhisperForConditionalGeneration, 905,2 млн параметров и формат PyTorch. Для обучения использован набор данных fsicoli/cv17-fleurs-coraa-mls-ted-alcaim-cf-cdc-lapsbm-lapsmail-sydney-lingualibre-voxforge-tatoeba; в README приведены результаты оценки: loss 0,5576 и WER 0,1113. Модель подходит для преобразования речи в текст в многоязычных сценариях. Карточка не уточняет целевой язык или условия записи, поэтому результаты для конкретных языков и типов аудио из этих данных оценить нельзя. Лицензия — Apache-2.0.

Sagicc/whisper-large-v3-sr-cmb — дообученная модель автоматического распознавания речи на основе Whisper large-v3 от OpenAI. Модель содержит 905,2 млн параметров и предназначена для преобразования аудио в текст; при дообучении использовались Common Voice 13, Google Fleurs и набор данных JuzneVesti-SR v1.0. В карточке приведены результаты оценки: WER 0,0415, WER Ortho 0,1339 и loss 0,1111. Модель ориентирована на сербскую речь, однако подробные сведения о вариантах языка и условиях оценки не описаны. Распространяется по лицензии Apache-2.0.

spokedotso/whisper-large-v3-turbo-4bit — 4-битная квантизованная версия Whisper large-v3-turbo от OpenAI, опубликованная Spoke для распознавания речи на устройствах Apple Silicon. Модель использует архитектуру Whisper; исходный чекпойнт содержит около 809 млн логических параметров, а веса квантованы до 4 бит с размером группы 64. В каталоге репозиторий указан как производный от openai/whisper-large-v3-turbo; README сообщает, что веса совпадают по контрольным суммам с upstream-конверсией mlx-community. Модель предназначена для преобразования аудио в текст непосредственно на устройстве с помощью mlx-whisper. Базовая Whisper large-v3-turbo — ускоренная мультиязычная модель для распознавания речи и перевода аудио в текст. Репозиторий использует формат safetensors и лицензию Apache-2.0; сведения о конкретных языках и максимальной длине аудио в карточке отсутствуют.

Xenova/whisper-medium — версия модели OpenAI Whisper medium, подготовленная сообществом Xenova в формате ONNX для совместимости с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибирования аудио, в том числе из URL, в JavaScript-приложениях. Из README известно, что опубликованы ONNX-веса и указана базовая модель openai/whisper-medium, однако её точный размер, архитектурные характеристики, перечень языков и максимальная длина контекста в предоставленных данных не описаны. Основное преимущество — возможность использования через Transformers.js в средах, поддерживающих ONNX. Ограничения производительности, требования к ресурсам и особенности качества распознавания не указаны. Модель распространяется по лицензии Apache-2.0.

nlp-mg/whisper-mg — дообученная модель распознавания речи на базе openai/whisper-small, опубликованная под лицензией Apache-2.0. Она предназначена для преобразования аудио в текст; в README приведены результаты оценки: loss 0.1375 и WER 7.0732. Модель использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров. Метаданные указывают поддержку аудиовхода. README не сообщает, на каких языках и данных проводилось дообучение, поэтому нельзя уточнить специализацию модели или качество распознавания для конкретного языка. Прикладные ограничения сверх этих сведений не описаны.

Whisper Tiny — компактная предварительно обученная модель распознавания речи семейства Whisper, разработанная OpenAI. Это трансформерная архитектура «энкодер—декодер» с 29,4 млн параметров, обученная на больших массивах размеченной речи с масштабным слабым контролем. Модель принимает аудио и генерирует его текстовую расшифровку; семейство Whisper также поддерживает перевод речи, но метаданные этой модели указывают только задачу распознавания речи. Модель подходит для транскрибации речи на множестве языков, включая русский, а также для распознавания аудио с акцентами, фоновым шумом и технической лексикой. Базовая длительность входного аудиофрагмента — до 30 секунд; длинные записи можно обрабатывать с разбиением на фрагменты. Модель может выдумывать слова, которых нет в аудио, повторять текст, а качество распознавания неодинаково для разных языков, акцентов и диалектов. Распространяется по лицензии Apache-2.0.