I.9Аудио и музыка

TEMPO-RL-Multitask — дообученная модель Kaousheik на базе NVIDIA Audio Flamingo 3 для временной привязки содержания аудио. Она объединяет распознавание речи с временными метками, диаризацию говорящих, поиск временных интервалов по текстовому запросу, плотное описание звуковых событий и анализ музыки. Модель принимает аудио и текстовую инструкцию с тегом задачи, а выдаёт текст с временными метками; единый декодер обслуживает все пять задач. Модель использует архитектуру Audio Flamingo 3: аудиокодировщик Whisper-large и Qwen2-7B, соединённые проектором. Для временной разметки применяются специальные токены времени с разрешением 0,1 секунды и временной мультимодальный проектор. По README, модель рассчитана на английский язык, а временной словарь ограничивает обрабатываемые интервалы 60 секундами, поэтому длинные записи нужно разбивать на фрагменты. WER для многоговорящей ASR остаётся высоким, музыкальные оценки приблизительны, а метки говорящих согласованы только внутри одного клипа. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.

OpenVINO/whisper-base-int8-ov — модель автоматического распознавания речи, разработанная на основе whisper-base от OpenAI и конвертированная в формат OpenVINO IR. Веса сжаты до INT8 с использованием NNCF, что предназначено для эффективного запуска инференса через OpenVINO. Модель работает с аудиоданными и поддерживает распознавание речи на множестве языков, включая английский, китайский, немецкий, испанский, русский, французский, японский и другие языки, указанные в карточке модели. Модель подходит для транскрибирования аудиозаписей и других задач автоматического распознавания речи. Она совместима с OpenVINO 2025.2.0 и новее, а также с Optimum Intel 1.23.0 и новее; в примерах предусмотрен запуск на CPU через OpenVINO GenAI. Для использования требуются соответствующие библиотеки OpenVINO, Optimum Intel или OpenVINO GenAI. Конкретные размер модели, длина контекста и архитектурные параметры в карточке не указаны. Ключевые характеристики оптимизации — асимметричное INT8-сжатие весов с размером группы 128 и представление OpenVINO IR. Это может снизить требования к ресурсам и упростить развертывание, однако возможны компромиссы между эффективностью и качеством по сравнению с исходной моделью. Ограничения следует уточнять в оригинальной карточке whisper-base от OpenAI. Модель распространяется под лицензией Apache-2.0.

handy-computer/whisper-large-gguf — это конвертация мультиязычной модели OpenAI Whisper large в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического распознавания речи, определения языка аудио и перевода речи с любого поддерживаемого языка в английский текст. Она поддерживает сегментную расшифровку с временными метками и обрабатывает длинные записи с помощью декодирования по 30-секундным окнам; потоковая обработка не поддерживается. Архитектура модели — encoder-decoder Transformer. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 6,18 ГБ. Модель поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. На тесте LibriSpeech test-clean варианты показали WER от 2,62% до 2,84%, что указывает на высокое качество распознавания английской речи; качество заметно зависит от языка и может существенно различаться. Сильные стороны модели — мультиязычность, определение языка, перевод речи на английский, поддержка различных уровней квантования и возможность запуска через transcribe.cpp с использованием CPU, Metal или Vulkan. Ограничения включают значительный размер, отсутствие потокового режима и неоднородную точность для разных языков, особенно для менее распространённых языков. Распространение указано по лицензии Apache-2.0.

whisper-large-v3-bn-cv17 — модель распознавания речи, дообученная разработчиком на базе openai/whisper-large-v3 на наборе Common Voice 17.0 и данных IIT Madras SPRING-INX. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 905,2 млн параметров. На оценочном наборе указаны loss 0,0669 и WER 30,8364. Лицензия модели в предоставленных данных не указана.

OpenVINO/whisper-medium-fp16-ov — модель автоматического распознавания речи, разработанная OpenAI и преобразованная в формат OpenVINO IR с весами в формате FP16. Она предназначена для транскрибации аудиозаписей в текст и поддерживает работу через Optimum Intel, OpenVINO GenAI и OpenVINO Model Server, включая интеграцию с OpenAI-совместимым клиентом. Модель основана на whisper-medium; в README не указаны её точный размер и архитектурные параметры. Заявлена поддержка широкого набора языков, включая английский, китайский, немецкий, испанский, русский, французский, японский и многие другие. Конкретный размер контекста и дополнительные модальности не указаны. Ключевая особенность версии — совместимость с OpenVINO версии 2025.2.0 и выше и Optimum Intel версии 1.23.0 и выше, что позволяет запускать инференс на поддерживаемых CPU и GPU. Сильными сторонами являются широкая языковая поддержка, оптимизированное представление OpenVINO IR и возможность развертывания локально или через серверную инфраструктуру. Ограничения и особенности качества следует уточнять в исходной карточке whisper-medium, на которую ссылается README. Модель распространяется по лицензии Apache-2.0.

Whisper Medium Russian — модель распознавания речи, созданная дообучением openai/whisper-medium на русскоязычной части набора Mozilla Common Voice 11.0. Она принимает аудио и преобразует русскую речь в текст; архитектура основана на Whisper и содержит около 455,8 млн параметров. Модель подходит для транскрибирования записей и голосовых сообщений на русском языке. В карточке указаны результаты на оценочном наборе: loss 0,2253 и WER 7,5624. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

mitchelldehaven/whisper-medium-ru — модель распознавания речи на базе Whisper, дообученная на аудиоданных из набора Open STT Russian Dataset. Она предназначена для преобразования русской речи в текст и может применяться для транскрибации записей и аудио с речью. Модель имеет архитектуру Whisper и содержит около 455,8 млн параметров; репозиторий распространяет веса в формате PyTorch. При нормализации обучающих данных пунктуацию удаляли, тогда как исходная токенизация Whisper заменяет её пробелом. По данным карточки, это расхождение немного ухудшает результаты на Common Voice. Лицензия в предоставленных сведениях не указана.

mlx-community/whisper-small-asr-fp16 — преобразованная сообществом mlx-community в формат MLX модель OpenAI Whisper Small для распознавания речи. Она предназначена для преобразования аудиозаписей в текст; репозиторий использует библиотеку mlx-audio и содержит веса в формате safetensors. Модель насчитывает 153,1 млн параметров и поддерживает распознавание речи на множестве языков, включая русский и английский. Модель основана на openai/whisper-small и преобразована в формат MLX с помощью mlx-audio 0.2.10; это конверсия формата, а не новое дообучение. Лицензия репозитория — Apache-2.0. Карточка отсылает к исходной модели за подробностями о её характеристиках; отдельные ограничения в предоставленных данных не описаны.

Карточка модели unsloth/whisper-tiny на Hugging Face совпадает с карточкой openai/whisper-tiny, поэтому описание составлено по ней. Whisper Tiny — компактная предварительно обученная модель распознавания речи семейства Whisper, разработанная OpenAI. Это трансформерная архитектура «энкодер—декодер» с 29,4 млн параметров, обученная на больших массивах размеченной речи с масштабным слабым контролем. Модель принимает аудио и генерирует его текстовую расшифровку; семейство Whisper также поддерживает перевод речи, но метаданные этой модели указывают только задачу распознавания речи. Модель подходит для транскрибации речи на множестве языков, включая русский, а также для распознавания аудио с акцентами, фоновым шумом и технической лексикой. Базовая длительность входного аудиофрагмента — до 30 секунд; длинные записи можно обрабатывать с разбиением на фрагменты. Модель может выдумывать слова, которых нет в аудио, повторять текст, а качество распознавания неодинаково для разных языков, акцентов и диалектов. Распространяется по лицензии Apache-2.0.

CrisperWhisper 2.0 Large — модель распознавания речи от Nyra Labs на архитектуре Whisper, содержащая 905,3 млн параметров. Она преобразует аудио в текст и позволяет выбирать между дословной расшифровкой с заполнителями пауз, повторами, обрывами слов и вокальными событиями и отредактированным вариантом, передающим намеренный смысл. Модель поддерживает английский и немецкий языки; семейство CrisperWhisper 2.0 рассчитано на работу с большинством языков, поддерживаемых Whisper. Модель предназначена для транскрибации разговорной речи, обработки длинных записей и получения временных границ отдельных слов. В README также описан режим Verbatimize: по аудио и готовой чистой расшифровке он восстанавливает присутствующие в записи речевые особенности. Указаны точность временных границ около 30 мс на подготовленной речи и 41 мс на разговорной, а также поддержка PyTorch и ускоренного инференса через CTranslate2. Стандартные модели выпускаются по некоммерческой исследовательской лицензии; коммерческое лицензирование доступно отдельно. Указанные в README результаты бенчмарков относятся к оценочным наборам разработчика и сами по себе не гарантируют такое же качество на любых записях.

Карточка модели aTrain-core/faster-distil-whisper-large-v2 на Hugging Face совпадает с карточкой Systran/faster-distil-whisper-large-v2, поэтому описание составлено по ней. Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.

Это версия Whisper large-v3, дообученной автором базовой модели и преобразованной в формат CTranslate2 для запуска через библиотеку faster-whisper. Модель предназначена для автоматического распознавания речи и транскрибирования аудиозаписей, в том числе в сценариях реального времени, пакетной обработки и высоконагруженных API. В карточке заявлены ускорение вывода до 4 раз и снижение потребления памяти; фактические показатели зависят от оборудования и длины аудио. Используется точность float16. README связывает исходное дообучение с Common Voice и L2 Arctic, но не приводит метрик качества или подробностей языкового и акцентного покрытия. Метаданные указывают английский язык. Лицензия — Apache-2.0.

Parakeet TDT 0.6B v3 INT8 — модель распознавания речи, подготовленная Sonic Speech на основе модели NVIDIA Parakeet TDT v3 и предназначенная для запуска через MLX, в том числе на компьютерах Apple Silicon. Она преобразует аудио в текст и подходит для транскрибации записей и речи.

UniSpeech-SAT-Base-Plus-SD — модель Microsoft для диаризации речи, дообученная на LibriMix с линейным слоем поверх представлений UniSpeech-SAT. Архитектура UniSpeech-SAT, около 113,3 млн параметров; веса доступны в формате PyTorch. Принимает речевое аудио с частотой дискретизации 16 кГц и выдаёт покадровые классификационные результаты, используемые для определения говорящих во времени. Базовая UniSpeech-SAT предварительно обучена на 94 тысячах часов аудиоданных Libri-Light, GigaSpeech и VoxPopuli с самообучением и учётом признаков говорящего. Модель предназначена для разделения речи по говорящим в аудиозаписях и может служить компонентом конвейера анализа разговоров. В метаданных указан английский язык; это не означает, что поддержка ограничена только им. Карточка не сообщает точные метрики качества или максимальную длительность входа. Для работы требуется аудио 16 кГц. Лицензия в предоставленных данных не указана.

mlx-community/whisper-large-v3-fp16 — версия Whisper large-v3 от сообщества mlx-community, преобразованная в формат MLX из openai/whisper-large-v3 с помощью mlx-audio-plus 0.1.4. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно использовать для транскрибации записей и аудиоввода в приложениях на MLX. Это мультиязычная модель семейства Whisper с плотной архитектурой. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. README описывает использование через mlx-audio-plus.

AiLab.lv дообучила Whisper large-v3 для распознавания латышской речи. Модель принимает аудио и преобразует его в текст; её обучали на 209 часах латышских записей из Common Voice 17.0 и LATE-Media с помощью Transformers. Это плотная encoder-decoder модель WhisperForConditionalGeneration примерно с 905 млн параметров, опубликованная в форматах PyTorch и safetensors. Для Common Voice 17.0 указаны WER 3,4% на нормализованном тесте и 5,0% на форматированном; на тесте LATE-Media WER составляет 20,8%. Модель распространяется по лицензии Apache-2.0. Авторы отмечают, что её сменила более новая версия whisper-large-v3-lv-late-cv19.

LiteRT Community Whisper Tiny — модель для автоматического распознавания речи, основанная на openai/whisper-tiny. Она предназначена для преобразования аудиозаписей в текст в сценариях автоматического распознавания речи. Из доступных данных известно, что модель относится к классу automatic-speech-recognition и распространяется по лицензии Apache 2.0. Сведения об архитектуре, размере, поддерживаемых языках, модальностях, длине контекста, сильных сторонах и ограничениях в карточке модели не указаны.

distil-large-v3-fr — французская модель распознавания речи семейства Distil-Whisper, созданная посредством дистилляции Whisper large-v3. Она предназначена для автоматической транскрибации коротких записей и длинных аудиофайлов; поддерживает последовательную обработку длинной записи для приоритета точности и обработку фрагментами для более высокой скорости. Архитектура — WhisperForConditionalGeneration, размер — около 905,2 млн параметров; модель принимает аудио и генерирует текст на французском языке. По данным README, качество на тестах вне обучающего распределения находится в пределах 2% WER от Whisper large-v3 для коротких и длинных записей, а модель работает быстрее исходной большой модели. Также её можно использовать как вспомогательную модель для спекулятивного декодирования Whisper large-v3. Для работы требуется Transformers версии 4.41 или новее. Лицензия — MIT.

Это преобразованная в формат CTranslate2 версия distil-whisper/distil-large-v3.5, подготовленная deepdml. Модель предназначена для распознавания речи и может использоваться через CTranslate2 и проекты на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке CTranslate2 позволяет выбрать другой тип вычислений через параметр compute_type. Репозиторий указывает английский язык. Лицензия — MIT. Модель создана конвертацией исходной модели в другой формат, а не дообучением.

Модель Zoont/faster-whisper-large-v3-turbo-int8-ct2 — преобразованная версия OpenAI Whisper large-v3-turbo в формате CTranslate2 с 8-битной квантизацией. Она предназначена для распознавания речи и преобразования аудио в текст с использованием faster-whisper; поддерживает мультиязычную обработку, включая русский и английский языки. Репозиторий создан 31 января 2025 года, использует библиотеку CTranslate2 и распространяется по лицензии MIT. Карточка отсылает к исходной модели за подробностями; в ней не приведены отдельные сведения о качестве распознавания или длине контекста.

Frame-VAD Multilingual MarbleNet v2.0 — компактная сверточная модель NVIDIA на архитектуре MarbleNet для обнаружения речи в аудиопотоке. Она предназначена для использования как первый этап распознавания речи, диаризации говорящих и других задач обработки аудио. Модель содержит 91,5 тыс. параметров и выдаёт вероятность наличия речи для каждого 20-миллисекундного кадра. Модель принимает одноканальное аудио WAV с частотой 16 кГц и поддерживает английский, испанский, французский, немецкий, русский и китайский языки. Для снижения ложных срабатываний при обучении использовались шумовые помехи, разные уровни громкости и примеры неречевых звуков. Для более устойчивых границ речи вероятности можно сглаживать и порогово классифицировать. Модель рассчитана на работу в реальном времени; NVIDIA указывает оптимизацию для GPU-систем, а также готовность к коммерческому применению. Использование регулируется NVIDIA Open Model License Agreement.

Это преобразованная в формат Hugging Face версия модели omniASR-CTC-300M-v2 на архитектуре Wav2Vec2, созданная из чекпойнта OmniLingual fairseq2. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт CTC-логиты по словарю SentencePiece, которые используются для получения текстовой расшифровки. В конфигурации указаны 24 слоя энкодера и размер скрытого представления 1024; в репозитории заявлено 413,2 млн параметров. Модель поддерживает распознавание речи на нескольких языках. Автор сообщает о совпадении выходов с исходным чекпойнтом fairseq2 на проверенном аудиофрагменте с точностью до atol=1e-4. Это конверсия чекпойнта, а не отдельное дообучение; файлы весов опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

mlx-community/parakeet-ctc-0.6b — версия модели Parakeet-CTC-0.6b, подготовленная сообществом mlx-community в формате MLX из nvidia/parakeet-ctc-0.6b. Это модель распознавания речи на архитектуре FastConformer с CTC, предназначенная для преобразования аудио в текст и доступная через библиотеки parakeet-mlx и mlx-audio. Базовая модель от NVIDIA NeMo и Suno.ai распознаёт английскую речь. Репозиторий использует библиотеку MLX и содержит веса в формате safetensors; в карточке указана лицензия CC BY 4.0. Подробности об условиях работы и характеристиках распознавания приведены в карточке исходной модели.

Parakeet CTC 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует аудиозаписи в текст на английском языке, выдавая результат строчными буквами, и предназначена для транскрибации речи, локального вывода и последующего дообучения на других наборах данных. Модель построена на архитектуре FastConformer CTC и содержит около 1,1 млрд параметров. Поддерживается английский язык; основная модальность — аудио с речью, выход — текстовая транскрипция. Модель доступна для использования через NVIDIA NeMo, Transformers и лёгкий нативный C++ runtime NeMo-Speech.cpp. В README приведены результаты оценки на различных англоязычных наборах данных: WER составляет от 1,83% на LibriSpeech clean до 15,62% на AMI Meetings. Сильной стороной модели являются крупный размер и хорошие показатели распознавания на ряде стандартных тестов, а также возможность инференса и fine-tuning. Ограничения включают поддержку только английского языка и отсутствие в предоставленных данных сведений о максимальной длине контекста, устойчивости к шуму и требованиях к вычислительным ресурсам. Лицензия — CC BY 4.0.

Parakeet TDT-CTC 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует англоязычную речь в текст с пунктуацией и заглавными буквами. Модель принимает монофонические аудиозаписи WAV с частотой 16 кГц и возвращает текстовую расшифровку. В основе лежит гибридная архитектура FastConformer-TDT-CTC примерно с 1,1 млрд параметров. Модель дообучена на базе parakeet-tdt-1.1 и обучалась на 36 тысячах часов английской речи из частных и открытых наборов данных. Благодаря локальному вниманию и глобальным токенам она может обрабатывать до 11 часов аудио за один проход. Модель предназначена для транскрибации речи в разных акустических и тематических условиях; в карточке приведены оценки WER на нескольких наборах, включая LibriSpeech, GigaSpeech и Common Voice. Ограничения: заявлена поддержка английского языка, а работа с другими языками не подтверждена; модель не поддерживается NVIDIA Riva согласно карточке. Лицензия — CC-BY-4.0.

Kaousheik разработал TEMPO — экспериментальный чекпойнт аудиоязыковой модели для определения временных границ речи, звуков и музыки. Это вариант абляции из Table 3, обученный с distance-aware Gaussian timestamp loss без time-aware projector; он основан на NVIDIA Audio Flamingo 3. Базовая архитектура сочетает замороженный аудиоэнкодер Whisper-large, Qwen2-7B и проектор; модель принимает аудио и формирует текст с временными метками. Модель предназначена для диаризации с распознаванием реплик, привязки текстовых запросов к интервалам аудио, сегментации записей с описанием событий и анализа временных отрезков музыки. В README приведены результаты этой абляции: DER 86,2, diarization mIoU 37,5, dense-captioning eF1 49,9 и grounding F1 38,0. Поддерживается английский язык. Временные метки ограничены 60 секундами, поэтому более длинные записи нужно разбивать на фрагменты; распознавание речи нескольких говорящих и определение аккордов остаются неточными. Метаданные указывают лицензию other, конкретные условия следует проверять в карточке модели.

Unified Audio Schema (UAS-Audio) — аудиоязыковая модель, разработанная авторами проекта Unified Audio Schema на базе Qwen2.5-7B и обученная с использованием их схемы супервизии. Она принимает текст и аудио и может выдавать текст и аудио, поддерживая чередование модальностей. Модель предназначена для диалогов с текстовым или речевым вводом, распознавания речи, описания аудиособытий и синтеза речи. Подход разделяет обучение на транскрипцию, паралингвистические характеристики и нелингвистические события, чтобы модель учитывала содержание речи и другие особенности аудио. Авторы сообщают о результатах на бенчмарках понимания аудио, ASR и TTS. Для восстановления звуковой волны из сгенерированных аудиотокенов требуется декодер StableToken. Модель опубликована в формате safetensors; лицензия указана как other, поэтому условия её использования следует сверить с карточкой репозитория.

Voxtral Mini 4B Realtime — потоковая модель распознавания речи, разработанная Mistral AI и представленная в 4-битной MLX-конвертации сообществом mlx-community. Модель предназначена для преобразования аудио в текст в реальном времени и пакетной транскрипции, включая сценарии с низкой задержкой и последовательной обработкой длинных аудиозаписей. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, итальянский, нидерландский, португальский, китайский, японский, корейский и русский языки. Модель содержит около 4 млрд параметров: примерно 0,6 млрд приходится на причинный аудиоэнкодер, а около 3,4 млрд — на языковой декодер на базе Ministral-3B. Аудиоэнкодер использует скользящее оконное внимание и обеспечивает потоковую обработку, а оба компонента поддерживают обработку аудио неограниченной длины за счёт sliding window attention. Между энкодером и декодером применяется четырёхкратное уменьшение частоты кадров до 12,5 Гц. Рекомендуется жадное декодирование с температурой 0 и задержкой транскрипции 480 мс; меньшая задержка ускоряет вывод, но может снижать точность. К сильным сторонам относятся поддержка потоковой транскрипции, низкая задержка, многоязычность и сниженное потребление памяти благодаря int4-квантизации. Ограничениями являются возможная потеря точности по сравнению с полноточной версией и компромисс между задержкой и качеством распознавания; заявленные показатели зависят от языка, набора данных и выбранной задержки. Модель распространяется по лицензии Apache 2.0 и рассчитана на запуск через библиотеку mlx-audio.

Это версия модели распознавания речи Whisper Base, преобразованная сообществом mlx-community из openai/whisper-base в формат MLX с точностью FP16. Она предназначена для автоматической транскрипции аудио в текст и работает с библиотекой mlx-audio. Модель содержит около 51,7 млн параметров и поддерживает распознавание речи на множестве языков, включая русский и английский. Модель подходит для преобразования записей, интервью и разговоров в текст. Репозиторий распространяется по лицензии Apache-2.0. Качество распознавания зависит от языка, чистоты аудио и условий записи; карточка рекомендует обращаться к исходной модели для подробностей.

WhisperKit Pro — набор моделей распознавания речи, подготовленных Argmax для работы с библиотекой WhisperKit и SDK Argmax. Репозиторий содержит варианты OpenAI Whisper, включая base, small и large-v3, а также Distil-Whisper large-v3; модели представлены в формате Core ML для локального запуска на устройствах Apple. Они преобразуют аудио в текст и подходят для расшифровки файлов и потокового распознавания речи. Возможности зависят от выбранного варианта: в репозитории есть англоязычные и многоязычные модели Whisper. Разработчик указывает лицензию argmax-fmod-license; доступ к Pro-возможностям SDK требует настройки Argmax SDK, а загрузка моделей через Hugging Face может требовать токен доступа. Репозиторий ориентирован на распознавание речи, а не на генерацию аудио.