I.9Аудио и музыка

OpenASR/qwen3-asr-1.7b — мультиязычная модель автоматического распознавания речи из семейства Qwen3-ASR, разработанного командой Qwen компании Alibaba. Репозиторий OpenASR предоставляет переупакованные веса исходной модели Qwen/Qwen3-ASR-1.7B в формате .oasr для запуска в среде OpenASR без Python во время инференса. Модель преобразует аудиозаписи в текст, определяет язык речи и предназначена для офлайн- и потоковой транскрипции. Она поддерживает 30 языков, 22 китайских диалекта и ряд региональных вариантов английского. По данным README, модель устойчива к сложным аудиосценариям, включая пение и песни на фоне музыки, а её качество заявлено как конкурентоспособное по отношению к коммерческим API. Размер модели составляет около 2 млрд параметров, из которых примерно 1,7 млрд активны; исходный формат — BF16. Доступны варианты fp16, q8_0 и q4_k. q8_0 рекомендован как компромисс между качеством и требованиями к памяти, q4_k подходит для устройств с ограниченными ресурсами, а fp16 предназначен для максимальной точности. Пакеты оптимизированы для CPU и GPU, используют GGUF-backed контейнер, mmap-привязку весов без копирования и повторное использование буферов графа. По README, временные метки на уровне слов требуют дополнительной модели Qwen3-ForcedAligner-0.6B; абсолютная точность распознавания и заявленные показатели производительности зависят от аудио и оборудования. Распространение выполняется по лицензии Apache-2.0, унаследованной от исходной модели. OpenASR указывает, что внесённые изменения ограничиваются конвертацией формата и квантованием.

Карточка модели 6534211A/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Карточка модели jdoksjiksdjdf/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Карточка модели Jinstudio/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Модель speaker-diarization-3.1 — открытый конвейер для диаризации речи, связанный с экосистемой pyannote.audio. Он определяет, кто и когда говорит в аудиозаписи, и возвращает результат в виде объекта Annotation; вывод можно сохранить, например, в формате RTTM. Версия 3.1 является развитием pyannote/speaker-diarization-3.0 и устраняет использование onnxruntime: сегментация речи и построение голосовых эмбеддингов выполняются в чистом PyTorch. Конвейер предназначен для автоматической диаризации аудио, включая определение активности речи, обнаружение смены говорящих и обработку перекрывающейся речи. Он работает с монофоническим аудио с частотой 16 кГц; многоканальные записи автоматически сводятся к моно, а аудио с другой частотой дискретизации преобразуется при загрузке. Количество говорящих может определяться автоматически либо задаваться явно или ограничиваться минимальным и максимальным значением. Обработка выполняется на CPU по умолчанию, но поддерживается запуск на GPU через PyTorch. К сильным сторонам относятся полностью автоматическая обработка без ручного VAD и обязательного указания числа говорящих, а также отсутствие зависимости от onnxruntime, что упрощает развёртывание и потенциально ускоряет инференс. В README приведён результат тестирования на AISHELL-4 с DER 12,2%, включая оценку перекрывающейся речи. Ограничения включают необходимость установки pyannote.audio версии 3.1 или выше, принятия условий использования связанных моделей и наличия токена Hugging Face. Лицензия модели — MIT; README также содержит предложение рассмотреть коммерческие решения pyannoteAI для более быстрых или производительных сценариев.

Stable Audio 3 Medium GGUF — это конверсия модели stabilityai/stable-audio-3-medium в формат GGUF для инференса через sa3.cpp. Конверсию опубликовал thepatch; исходная модель разработана Stability AI. Модель предназначена для генерации аудио по текстовому описанию, включая музыкальные композиции и звуковые эффекты, без необходимости использовать PyTorch. Поддерживаются CPU, CUDA, Vulkan и Metal на Apple Silicon. Модель состоит из diffusion transformer DiT размером 1,5 млрд параметров, автоэнкодера SAME-L, conditioner и общего текстового энкодера с токенизатором T5Gemma-B-B-UL2. Доступны варианты F32, F16, Q8_0, Q5_K_M и Q4_K_M; объём пары DiT и SAME-L составляет примерно от 1,5 до 8,8 ГБ в зависимости от точности. В README указан английский язык. Контекст модели и точная поддерживаемая длительность аудио не заявлены, однако приведены примеры генерации 12-секундных и более длинных клипов. Сильные стороны — переносимый C++/GGML-инференс, отсутствие PyTorch, несколько вариантов квантования и высокая схожесть квантованных компонентов с эталоном F16. Квантование уменьшает требования к памяти и может ускорять работу на CUDA и Vulkan, но на Metal прирост скорости практически отсутствует. На CPU модель работает примерно в десять раз медленнее, чем на указанном GPU. Для работы требуется комплект из нескольких файлов, причём DiT и SAME-L должны иметь одинаковую точность, а также общий энкодер и токенизатор. Конвертированные веса распространяются по Stability AI Community License: организациям с годовой выручкой менее 1 млн долларов разрешены коммерческое использование, дообучение и производные работы; для организаций выше этого порога требуется Enterprise License. Исходный код Stable Audio 3 имеет лицензию MIT, а T5Gemma распространяется на условиях Gemma Terms of Use.

Stable Audio Open Small — модель Stability AI для генерации аудио по текстовому описанию. Она создаёт стереозвук с частотой 44,1 кГц длительностью до 11 секунд. Модель состоит из автокодировщика, который сжимает аудиосигнал, текстового кодировщика на базе T5 и трансформерной модели диффузии, работающей в латентном пространстве. Для запуска предназначена библиотека stable-audio-tools. Модель подходит для создания звуковых эффектов, полевых записей и музыкальных фрагментов по англоязычным промптам, а также для экспериментов с генерацией аудио. Лучше справляется со звуковыми эффектами и полевыми записями, чем с музыкой; реалистичный вокал генерировать не умеет. Качество может различаться в зависимости от музыкального стиля и культурного контекста, а для подходящего результата может потребоваться настройка промпта. Модель обучалась на аудиозаписях Freesound и Free Music Archive; для текстового кондиционирования используется предварительно обученная T5-base. Лицензия — Stability AI Community License; коммерческое использование требует отдельной проверки условий лицензии.

Модель kelvinbksoh/whisper-large-v2-vietnamese-lyrics-transcription — дообученная версия Whisper large-v2 для автоматической транскрибации вьетнамских песен. Её разработали Kevin Soh, Bernard Cheng Zheng Zhuan и Nguyen Quoc Anh; модель основана на openai/whisper-large-v2 и содержит около 905,2 млн параметров. Модель принимает аудио и выдаёт текстовую расшифровку вьетнамской песни. README описывает обучение на 7 000 песнях длительностью около 550 часов из разных жанров, диалектов и акцентов; для проверки использовалась выборка из 1 000 песен. При использовании Transformers pipeline поддерживает обработку длинных записей по фрагментам и выдачу временных меток на уровне слов. Для версии large-v2 в README приведены WER 24,61% с учётом регистра и 20,52% без учёта регистра, а CER — 17,14% и 16,09% соответственно. Эти показатели относятся к указанной в карточке валидационной выборке; качество может отличаться для других песенных жанров, диалектов и условий записи. Модель распространяется по лицензии Apache-2.0.

vonjack/whisper-large-v3-gguf — это модель автоматического распознавания речи Whisper в формате GGUF, предназначенная для использования с whisper.cpp. Репозиторий содержит варианты модели для преобразования аудио в текст; в качестве примеров указаны записи Librispeech. Разработчик модели в README не указан. Модель поддерживает широкий набор языков, включая английский, китайский, немецкий, испанский, русский, французский, японский, португальский и многие другие. Архитектура, количество параметров, размер модели, максимальная длина контекста и сведения о дополнительных модальностях в README не приведены. К сильным сторонам относятся совместимость с whisper.cpp и широкая языковая поддержка, однако ограничения по качеству, производительности и требованиям к ресурсам не описаны. Модель распространяется по лицензии Apache-2.0.

Это квантованная GGUF-версия мультиязычной модели распознавания речи OpenAI Whisper large-v3-turbo, подготовленная командой handy-computer для работы с transcribe.cpp. Модель предназначена для автоматической транскрибации аудио, определения языка и генерации сегментных временных меток. Поддерживается широкий набор языков, включая русский, английский, китайский и кантонский (yue). Режим перевода речи не поддерживается, потоковая обработка отключена. Модель использует архитектуру encoder-decoder Transformer, принимает аудио через 128-bin mel-представление и обрабатывает длинные записи фрагментами на основе 30-секундных окон. Доступны варианты F16 и квантования Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 536 МБ до 1,63 ГБ. На тесте LibriSpeech test-clean показатель WER составляет 2,01% для F16 и Q8_0, 2,03% для Q5_K_M и 2,04% для Q4_K_M. Квантованные варианты уменьшают размер файла при небольшом ухудшении качества, однако точность может существенно различаться между языками. Модель подходит для локальной транскрибации, субтитров, голосовых заметок и анализа аудиозаписей при использовании transcribe.cpp. Распространяется по лицензии Apache-2.0.

Карточка модели kelvinbksoh/whisper-small-vietnamese-lyrics-transcription на Hugging Face совпадает с карточкой kelvinbksoh/whisper-large-v2-vietnamese-lyrics-transcription, поэтому описание составлено по ней. Модель kelvinbksoh/whisper-large-v2-vietnamese-lyrics-transcription — дообученная версия Whisper large-v2 для автоматической транскрибации вьетнамских песен. Её разработали Kevin Soh, Bernard Cheng Zheng Zhuan и Nguyen Quoc Anh; модель основана на openai/whisper-large-v2 и содержит около 905,2 млн параметров. Модель принимает аудио и выдаёт текстовую расшифровку вьетнамской песни. README описывает обучение на 7 000 песнях длительностью около 550 часов из разных жанров, диалектов и акцентов; для проверки использовалась выборка из 1 000 песен. При использовании Transformers pipeline поддерживает обработку длинных записей по фрагментам и выдачу временных меток на уровне слов. Для версии large-v2 в README приведены WER 24,61% с учётом регистра и 20,52% без учёта регистра, а CER — 17,14% и 16,09% соответственно. Эти показатели относятся к указанной в карточке валидационной выборке; качество может отличаться для других песенных жанров, диалектов и условий записи. Модель распространяется по лицензии Apache-2.0.

Auralis — модель синтеза речи, разработанная AstraMind.ai на основе Coqui XTTS-v2. Она преобразует текст в речь, поддерживает клонирование голоса по короткому аудиофрагменту, потоковую генерацию длинных текстов и параллельную обработку запросов. Модель содержит 510,2 млн параметров; в репозитории указаны веса safetensors. README описывает оптимизацию для GPU, включая NVIDIA RTX 3090, и применение для озвучивания книг, диалогов, подкастов и голосовых дорожек. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, польского, турецкого, русского, нидерландского, чешского, арабского, упрощённого китайского, венгерского, корейского, японского и хинди. По README, модель подходит для интеграции в приложения через Python API и для создания аудиоверсий текстов. Лицензия указана как Apache 2.0, однако для компонентов базовой XTTS-v2 README отдельно указывает лицензию Coqui AI; условия использования производной модели и компонентов следует оценивать с учётом обеих лицензий.

Модель gary109/ai-light-dance_singing3_ft_wav2vec2-large-xlsr-53-v1-5gram — дообученная gary109 версия wav2vec2 XLSR-53 для автоматического распознавания речи. Она содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC; веса опубликованы в формате PyTorch. По карточке, модель дообучена на датасете GARY109/AI_LIGHT_DANCE - ONSET-SINGING3 и предназначена для распознавания пения. На оценочной выборке указаны loss 0,4505 и WER 0,2119. Модель принимает аудио и выдаёт распознанный текст. Распространяется по лицензии Apache-2.0.

Это версия модели NVIDIA Sortformer для офлайн-разметки активности и временных сегментов речи до четырёх говорящих. Репозиторий mlx-community содержит конвертацию исходной модели nvidia/diar_sortformer_4spk-v1 в формат MLX с помощью mlx-audio 0.3.2; архитектура включает FastConformer из 18 слоёв, Transformer Encoder из 18 слоёв и модули Sortformer. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт вероятности активности каждого говорящего по кадрам. Она подходит для диаризации аудиозаписей с несколькими собеседниками и разметки речевой активности, максимум для четырёх голосов. В карточке указана лицензия исходной модели; отдельные условия лицензирования этой конвертации не приведены.

Карточка модели mijuanlo/faster-whisper-large-v3 на Hugging Face совпадает с карточкой Systran/faster-whisper-large-v3, поэтому описание составлено по ней. Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

FSMN-VAD — модель обнаружения речевой активности из экосистемы FunASR. Она использует архитектуру Feedforward Sequential Memory Network (FSMN) и определяет границы речевых и неречевых сегментов в аудио с частотой дискретизации 16 кГц. Модель предназначена для выделения речи в длинных аудиозаписях и предварительной обработки аудио перед распознаванием речи. Поддерживаются потоковый и офлайн-режимы, настройка максимальной длины сегмента и обработка с низкой задержкой, в том числе для сценариев реального времени. Результат — временные границы речевых фрагментов в миллисекундах. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели и отдельные ограничения точности; качество может зависеть от условий записи и характеристик аудио.

MiniMax-Music3 — модель генерации музыки от MiniMax, представленная в репозитории pinecoresystems/MiniMax-Music3 как неизменённая копия в структуре Diffusers. Она предназначена для создания музыки по текстовому описанию. В репозитории также размещены генератор и детектор водяных знаков AudioSeal от Meta; README сообщает, что TinyPine Studio встраивает водяной знак в создаваемые ею композиции, но это не характеристика самой MiniMax-Music3. Веса хранятся в формате safetensors, библиотека — Diffusers. Репозиторий содержит только подкаталоги Diffusers; вариант раскладки для SGLang не включён. README не сообщает размер модели, контекст или список поддерживаемых языков. Лицензия — MiniMax-Music3 Community License с Acceptable Use Policy. Для коммерческих продуктов, использующих модель, требуется показывать «MiniMax-Music3» в интерфейсе; при годовой выручке свыше 20 млн долларов требуется отдельное разрешение MiniMax. TinyPine не обучала и не изменяла модель.

jadechoghari/openmusic — реализация модели QA-MDT для генерации музыки по текстовому описанию, опубликованная на Hugging Face в формате Diffusers. В README модель связана с работой авторов из University of Science and Technology of China; архитектура использует masked diffusion transformer (MDT) и обучение с учётом качества, чтобы улучшить качество звучания и музыкальность при генерации по описаниям. Модель предназначена для преобразования текстовых запросов в музыкальное аудио. В README заявлены результаты уровня state of the art на наборах MusicCaps и Song-Describer. Репозиторий содержит веса в форматах Diffusers и PyTorch; лицензия, длительность контекста и поддерживаемые языки в предоставленных данных не описаны.

Parakeet TDT 0.6B V2 — англоязычная модель автоматического распознавания речи от NVIDIA. Она преобразует монофоническое аудио в текст с пунктуацией, заглавными буквами и временными метками на уровне слов. Модель содержит 600 млн параметров и использует архитектуру FastConformer-TDT с декодером TDT; работает с аудиофрагментами длительностью до 24 минут за один проход. Модель предназначена для транскрибации разговоров, голосовых команд, песенных текстов и записей для субтитров или голосовой аналитики. По данным разработчика, она хорошо распознаёт числа в речи; скорость зависит от длительности аудио и размера пакета. Для запуска используется NVIDIA NeMo; модель оптимизирована для систем с GPU NVIDIA. Вход — монофоническое аудио 16 кГц, в карточке указаны форматы WAV и FLAC. Модель доступна для коммерческого и некоммерческого использования по лицензии CC-BY-4.0. Карточка не сообщает о мерах снижения смещений; точность для языков, отличных от английского, не заявлена.

cstr/pyannote-v3-segmentation-GGUF — это перенос модели сегментации речи pyannote/segmentation-3.0 в формат GGUF. Модель использует архитектуру SincNet, четыре двунаправленных LSTM-слоя и выходной слой Linear с LogSoftmax; веса сохранены в точности F32. Размер файла — 5,7 МБ. Модель обрабатывает короткие аудиофрагменты и совместно определяет активность речи, сегменты говорящих и перекрывающуюся речь. Её используют как компонент диаризации: последующая кластеризация объединяет сегменты и формирует разметку говорящих для всей записи. Репозиторий описывает интеграцию с CrispASR. Это конверсия исходного чекпойнта без обучения или изменения архитектуры и возможностей. Модель распространяется по лицензии MIT на условиях исходной модели pyannote; конвертация не предоставляет дополнительных прав.

cstr/qwen3-asr-0.6b-GGUF — GGUF/ggml-квантизированные версии модели Qwen3-ASR 0.6B, разработанной Alibaba и адаптированные для запуска через CLI qwen3-asr-main из проекта CrispStrobe/CrispASR. Модель предназначена для автоматического распознавания речи и транскрибации аудиозаписей с автоматическим определением языка. Она поддерживает 30 языков, включая русский, английский, немецкий, французский, китайский и другие, а также 22 китайских диалекта. Это speech-LLM с Whisper-подобным аудиоэнкодером: 2D-свёрточный subsampler, 18-слойный Transformer и projector преобразуют аудио в представления размерности 1024, после чего их обрабатывает Qwen3 0.6B — 28-слойная языковая модель с GQA, SwiGLU и RoPE. Доступны варианты F16, Q8_0, Q4_K и Q3_K с размерами примерно от 531 МБ до 1,88 ГБ. Вариант Q4_K рекомендован как компромисс между размером, скоростью и качеством и на 4-ядерном CPU работает немного быстрее реального времени на указанном тестовом аудио. Для длинных записей предпочтительнее обычные Q4_K или Q8_0; варианты с importance matrix могут на длинном аудио переходить в повторяющиеся фрагменты. Модель сильна многоязычным распознаванием, компактностью, работой на CPU и отсутствием необходимости в torch, librosa или scipy во время инференса: необходимые mel-фильтры встроены в GGUF. Заявленный средний показатель составляет 6,42% WER на Open ASR Leaderboard, однако производительность и качество зависят от варианта квантизации и характеристик аудио. Для штатного запуска требуется 16 кГц, моно, 16-битный PCM WAV; другие форматы нужно предварительно конвертировать. Модель распространяется по лицензии Apache-2.0.

Карточка модели freeuser17/Qwen3-ASR-1.7B-Uncensored на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

cstr/vibevoice-asr-GGUF — это конверсия модели Microsoft VibeVoice-ASR в формат GGUF/ggml, подготовленная для запуска через CLI CrispASR. Модель предназначена для автоматического распознавания речи, транскрибации длинных аудиозаписей, определения говорящих и формирования временных меток. Она может обрабатывать до 60 минут аудио за один проход, а для более длинных записей используется потоковая сегментация. Результат выдаётся в структурированном JSON с текстом, идентификатором говорящего, временем начала и окончания сегмента. Поддерживаются контекст и пользовательские hotwords, а также автоматическое определение языка. Это speech-LLM примерно на 7 млрд параметров с акустическим и семантическим ConvNeXt-подобными энкодерами, двумя SpeechConnectors и декодером Qwen2-7B. Декодер имеет 28 слоёв, Grouped Query Attention с 28 query-heads и 4 KV-heads, размер скрытого состояния 3584 и контекст до 32768 токенов. Модель мультиязычная и заявлена для более чем 50 языков, включая английский, китайский, испанский, русский, японский, корейский, немецкий и другие. Доступны варианты квантования Q4_K_M размером около 5 ГБ, Q8_0 размером 9,45 ГБ и F16 размером 16 ГБ; Q8_0 позиционируется как вариант с качеством, близким к F16. К сильным сторонам относятся объединение транскрибации и диаризации в одной модели, сегментация с временными метками, поддержка длинных записей, hotwords и детерминированный режим работы C++-рантайма. Ограничения включают необходимость запуска через совместимый CrispASR и обязательную предварительную подготовку аудио: моно, 24 кГц, с нормализацией уровня. Модель распространяется по лицензии MIT.

Whisper Base.en — преобразованная в формат CTranslate2 версия англоязычной модели OpenAI whisper-base.en. Она распознаёт английскую речь и преобразует аудио в текст; для запуска карточка рекомендует библиотеку whisper-s2t-reborn. Веса представлены с точностью float32. Модель предназначена для транскрибации английской речи, например записей и разговоров. Вариант base.en относится к компактным моделям семейства Whisper; параметры контекста и размер модели в предоставленных данных не приведены. Репозиторий распространяется по лицензии Apache-2.0.

mlx-community/whisper-large-v3-4bit — версия Whisper large-v3 от сообщества mlx-community, преобразованная из openai/whisper-large-v3 для использования с mlx-audio-plus. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно применять для транскрибации записей и расшифровки речи в приложениях на MLX. В основе лежит мультиязычная архитектура Whisper large-v3 от OpenAI. Название репозитория указывает на представление с 4-битной точностью; карточка сообщает о преобразовании в формат MLX, а метаданные указывают библиотеку mlx-audio-plus и файлы safetensors. Базовая модель поддерживает транскрибацию речи и перевод аудио в текст. Модель распространяется по лицензии Apache-2.0.

Это конверсия модели Whisper large-v3-turbo в формат MLX, предназначенная для распознавания речи. Репозиторий описывает использование через библиотеку mlx-whisper; метаданные указывают на архитектуру Whisper и веса в формате safetensors. Модель принимает аудио и преобразует речь в текст. Её можно применять для транскрибации записей и распознавания речи в поддерживаемых Whisper языках. README не приводит сведений о разработчике конверсии, размере модели, конкретных поддерживаемых языках или лицензии.

ACE-Step Captioner — модель для подробного описания музыкального аудио, используемая ACE-Step v1.5 для аннотирования обучающих данных. Она построена на архитектуре Qwen2.5 Omni и принимает аудио, формируя текстовые описания музыки. Модель анализирует жанры и стилистические влияния, распознаёт инструменты, описывает структуру произведения и её развитие, тембр, текстуру, пространственные характеристики и динамику. Её можно применять для разметки музыки при подготовке данных для генеративных моделей, создания поисковых метаданных аудиокаталогов, музыкального анализа и документирования звукового дизайна. В карточке заявлено качество выше Gemini Pro 2.5 в задачах описания музыки; независимая проверка этого сравнения не представлена. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Размер модели и ограничение контекста в предоставленных данных не приведены.

OpenMOSS-Team/AnyGPT-chat — чат-модель AnyGPT от команды OpenMOSS, построенная на плотной архитектуре LLaMA и содержащая 6,7 млрд параметров. Она представляет речь, текст, изображения и музыку дискретными токенами, чтобы обрабатывать их в общей последовательности и выполнять преобразования между модальностями. Для обработки речи, изображений и музыки используются отдельные токенизаторы и модули восстановления. Модель предназначена для мультимодального диалога и генерации: она может создавать изображения по тексту, описывать изображения и музыку, распознавать речь, синтезировать речь, в том числе с голосовым образцом, и создавать музыку по текстовому описанию. Веса доступны в формате PyTorch; базовая конфигурация имеет контекст 2048 токенов. В README не указаны языки, на которые специально рассчитаны мультимодальные возможности. Авторы предупреждают, что из-за ограничений данных и вычислительных ресурсов генерация может быть нестабильной; результаты могут потребовать повторных запусков или настройки декодирования. README указывает лицензию исходной LLaMA 2, а метаданные Hugging Face — Apache-2.0; это расхождение не позволяет однозначно установить условия использования по доступным сведениям.

Это конверсия в формат MLX модели diar_sortformer_4spk-v1 от NVIDIA, подготовленная сообществом mlx-community с помощью mlx-audio 0.3.2. Модель предназначена для офлайн-разметки речи по говорящим и определения активности голосов: она обрабатывает монофоническое аудио с частотой 16 кГц и выдаёт вероятности активности говорящих для каждого временного кадра, поддерживая до четырёх говорящих. Архитектура включает FastConformer из 18 слоёв, Transformer Encoder из 18 слоёв и модули Sortformer; используются 80 мел-фильтров. Языковые характеристики, размер и длина контекста в предоставленных данных не описаны. Условия лицензии не приведены, поэтому определить их по этой карточке нельзя.

Карточка модели Purfview/faster-distil-whisper-large-v3.5 на Hugging Face совпадает с карточкой distil-whisper/distil-large-v3.5-ct2, поэтому описание составлено по ней. Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.