I.9Аудио и музыка

Qwen3-ASR-0.6B-hf — компактная модель распознавания речи и определения языка из семейства Qwen3-ASR, разработанного командой Qwen. Это плотная модель на 0,6 млрд параметров для Transformers, принимающая аудио и выдающая текстовую расшифровку с указанием языка. Она поддерживает офлайн- и потоковую обработку, длинные аудиозаписи, пакетную транскрибацию и подсказки с контекстом или специализированной лексикой. Модель распознаёт речь на 30 языках и диалектах, включая русский, английский, китайский и кантонский, а также заявлена для пения и песен с фоновой музыкой. В README для версии 0.6B отмечена высокая пропускная способность при параллельной обработке; приведённая оценка на наборе тестов Open ASR Leaderboard показывает средний WER 6,31. Лицензия Apache-2.0 допускает использование на её условиях. Для временных меток слов требуется отдельная модель Qwen3-ForcedAligner; качество распознавания может зависеть от языка и акустических условий.

Карточка модели corypaik/silero-vad на Hugging Face совпадает с карточкой istupakov/silero-vad-onnx, поэтому описание составлено по ней. Это модель Silero VAD версии 6.2 в формате ONNX, опубликованная пользователем istupakov для работы с onnx-asr. Она определяет участки речи в аудиозаписи и может использоваться как этап предварительной обработки перед распознаванием речи, например вместе с Parakeet v3 ASR для анализа WAV-файлов. Формат ONNX позволяет запускать модель через совместимые среды выполнения.

Speaker diarization 3.1 — открытый конвейер проекта pyannote, предназначенный для автоматической диаризации речи: определения участков речи, разделения говорящих и фиксации того, кто и когда говорит. Он также связан с задачами voice activity detection, обнаружения смены говорящего и перекрывающейся речи, поэтому подходит для обработки записей встреч, интервью, подкастов и других многоголосых аудиофайлов. Результат возвращается в виде объекта Annotation и может быть сохранён в формате RTTM. Конвейер принимает монофонический звук с частотой 16 кГц; стерео- и многоканальные записи автоматически сводятся к моно, а записи с другой частотой дискретизации пересчитываются до 16 кГц. В отличие от версии 3.0, сегментация и построение speaker embeddings выполняются полностью в PyTorch без problematic-зависимости onnxruntime, что должно упростить развёртывание и потенциально ускорить инференс. Для работы требуется pyannote.audio версии 3.1 или выше, а запуск возможен на CPU или GPU. Обработка выполняется автоматически, без ручной разметки voice activity и без обязательного предварительного указания числа говорящих, хотя можно задать точное число либо минимальную и максимальную границы. Ограничения включают необходимость принятия условий доступа к зависимым моделям pyannote и наличия Hugging Face access token; конкретные языки, размер внутренних моделей и максимальная длина контекста в README не указаны. Модель распространяется по лицензии MIT, однако для использования требуется выполнение условий gated-доступа к компонентам pyannote.

pyannote/speaker-diarization-3.1 — открытый аудиопайплайн, разработанный командой pyannote. Он предназначен для автоматической диаризации речи: определения участков речи и их принадлежности разным говорящим в аудиозаписях. Пайплайн также поддерживает обнаружение активности речи, смены говорящих и перекрывающейся речи, поэтому подходит для анализа совещаний, интервью, подкастов, телефонных разговоров и подготовки данных для автоматического распознавания речи. Модель принимает монофонический звук с частотой 16 кГц и возвращает результат диаризации в формате Annotation. Стерео- и многоканальные записи автоматически сводятся к моно, а записи с другой частотой дискретизации — преобразуются к 16 кГц. По сравнению с версией 3.0 в версии 3.1 устранено использование onnxruntime: сегментация говорящих и построение speaker embeddings выполняются в чистом PyTorch, что упрощает развертывание и потенциально ускоряет инференс. Пайплайн работает на CPU или GPU и позволяет задать точное, минимальное или максимальное число говорящих. К ограничениям относятся отсутствие указанных сведений о размере модели, поддерживаемых языках и максимальной длине контекста, а также зависимость от pyannote.audio версии 3.1 или выше. Для использования требуется принять условия доступа к связанным моделям pyannote/segmentation-3.0 и pyannote/speaker-diarization-3.1 и создать токен Hugging Face. Пайплайн распространяется по лицензии MIT.

TEMPO SFT Stage 2 — дообученная модель Kaousheik на базе NVIDIA Audio Flamingo 3 для анализа речи, звуков и музыки с привязкой ответов ко времени. Архитектура Audio Flamingo 3 объединяет аудиокодировщик Whisper-large и Qwen2-7B; в этом варианте используется временной мультимодальный проектор. Модель принимает аудио и выдаёт текст с временными метками для пяти связанных задач: распознавания речи, диаризации говорящих, поиска временного интервала по текстовому запросу, плотного описания звуковых событий и анализа музыки. Вариант Stage 2 обучен на реальных данных и предназначен, в частности, для разметки разговоров и встреч, локализации событий в аудиозаписи и временного анализа музыкальных элементов. Модель рассчитана на английский язык. Токенизация времени ограничивает метки интервалами до 60 секунд, поэтому более длинные записи нужно разбивать на фрагменты. Качество распознавания многоголосой речи и определения аккордов ограничено; метки говорящих произвольны между разными клипами. Лицензия указана как other, конкретные условия в предоставленных материалах не раскрыты.

ACE-Step 1.5 XL Turbo — вариант модели ACE-Step 1.5 от проекта ACE-Step для генерации музыки и аудио. Это дистиллированная модель с архитектурой DiT Decoder и 3,1 млрд параметров по метаданным; README обозначает вариант как XL 4B. В карточке также указаны библиотека Transformers, формат safetensors и контекст 32 768 токенов. Модель предназначена для генерации аудио по текстовому описанию. Turbo-вариант рассчитан на быстрый вывод за 8 шагов и ориентирован на высокое качество звука; README отмечает, что XL совместима с LM-моделями ACE-Step размером 0,6B, 1,7B и 4B. Для запуска требуется GPU с 12–20 ГБ VRAM в зависимости от квантования и выгрузки на CPU. README сообщает, что обучение использовало лицензированную, royalty-free, общественно доступную и синтетическую музыку, а сгенерированную музыку можно использовать в коммерческих целях. Лицензия репозитория — MIT. Модель генерирует аудио, но сведения о поддерживаемых естественных языках и конкретных аудиоформатах в предоставленных данных отсутствуют.

Карточка модели Anyhow5026272/acestep-v15-xl-turbo на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-turbo, поэтому описание составлено по ней. ACE-Step 1.5 XL Turbo — вариант модели ACE-Step 1.5 от проекта ACE-Step для генерации музыки и аудио. Это дистиллированная модель с архитектурой DiT Decoder и 3,1 млрд параметров по метаданным; README обозначает вариант как XL 4B. В карточке также указаны библиотека Transformers, формат safetensors и контекст 32 768 токенов. Модель предназначена для генерации аудио по текстовому описанию. Turbo-вариант рассчитан на быстрый вывод за 8 шагов и ориентирован на высокое качество звука; README отмечает, что XL совместима с LM-моделями ACE-Step размером 0,6B, 1,7B и 4B. Для запуска требуется GPU с 12–20 ГБ VRAM в зависимости от квантования и выгрузки на CPU. README сообщает, что обучение использовало лицензированную, royalty-free, общественно доступную и синтетическую музыку, а сгенерированную музыку можно использовать в коммерческих целях. Лицензия репозитория — MIT. Модель генерирует аудио, но сведения о поддерживаемых естественных языках и конкретных аудиоформатах в предоставленных данных отсутствуют.

Карточка модели TTSCloneAPI/acestep-v15-xl-turbo на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-turbo, поэтому описание составлено по ней. ACE-Step 1.5 XL Turbo — вариант модели ACE-Step 1.5 от проекта ACE-Step для генерации музыки и аудио. Это дистиллированная модель с архитектурой DiT Decoder и 3,1 млрд параметров по метаданным; README обозначает вариант как XL 4B. В карточке также указаны библиотека Transformers, формат safetensors и контекст 32 768 токенов. Модель предназначена для генерации аудио по текстовому описанию. Turbo-вариант рассчитан на быстрый вывод за 8 шагов и ориентирован на высокое качество звука; README отмечает, что XL совместима с LM-моделями ACE-Step размером 0,6B, 1,7B и 4B. Для запуска требуется GPU с 12–20 ГБ VRAM в зависимости от квантования и выгрузки на CPU. README сообщает, что обучение использовало лицензированную, royalty-free, общественно доступную и синтетическую музыку, а сгенерированную музыку можно использовать в коммерческих целях. Лицензия репозитория — MIT. Модель генерирует аудио, но сведения о поддерживаемых естественных языках и конкретных аудиоформатах в предоставленных данных отсутствуют.

Cohere Transcribe 03-2026 — открытая модель автоматического распознавания речи, разработанная Cohere и Cohere Labs. Данная версия распространяется в формате .oasr для нативного запуска в среде OpenASR без Python во время инференса, с поддержкой CPU и GPU. Модель предназначена для преобразования аудио в текст и подходит для транскрибации записей, речи и других аудиоданных. Она поддерживает 14 языков, включая английский, основные европейские языки, арабский, китайский, японский, корейский и вьетнамский. Архитектура представляет собой Conformer-энкодер для обработки акустических признаков и облегчённый Transformer-декодер; размер модели составляет около 2 млрд параметров. К сильным сторонам относятся специализированная архитектура для распознавания речи, локальный запуск, поддержка CPU и GPU, а также варианты квантования, уменьшающие требования к памяти. Доступны сборки fp16, q8_0 и q4_k размером примерно от 1,51 до 4,14 ГБ; q8_0 рекомендуется как вариант с близким к fp16 качеством и меньшим размером, а q4_k — для более ограниченных по памяти систем. Абсолютная точность распознавания и ограничения по длине контекста в README не указаны. Модель и упаковки распространяются по лицензии Apache-2.0.

Fun-ASR-Nano-2512 — модель автоматического распознавания речи, разработанная командой FunAudioLLM в Tongyi Lab. Репозиторий bezzam/Fun-ASR-Nano-2512-hf содержит вариант модели для Transformers; исходная модель построена как система ASR на основе аудиоэнкодера и языковой модели-декодера, включает около 800 млн параметров и распространяется под лицензией Apache-2.0. Модель преобразует речь в текст, поддерживает китайский, английский и японский языки, китайские диалекты и региональные акценты, а также распознавание пения и рэпа. Разработчик указывает сценарии распознавания в шумной обстановке и потоковой транскрипции с низкой задержкой. Карточка HF отмечает ограничение текущего HF-чекпойнта: для транскрипции он пригоден, но путь CTC отключён, поэтому временные метки и диаризация могут быть недоступны или ненадёжны.

Lite-Whisper large-v3-turbo-acc — сжатая версия мультиязычной модели распознавания речи OpenAI Whisper, разработанная авторами LiteASR. Модель предназначена для преобразования аудио в текст и доступна для запуска через библиотеку Hugging Face Transformers. В карточке приведено сравнение на наборах ESB: вариант acc показывает средний WER 10,1 при размере энкодера 429 млн параметров и декодера 907 млн; у Whisper large-v3 указаны тот же WER и энкодер 635 млн. По метаданным модель содержит 905,2 млн параметров и основана на openai/whisper-large-v3-turbo. Репозиторий распространяется в формате safetensors под лицензией Apache-2.0.

MOSS-TTSD-v1.0 — модель синтеза речи для длинных выразительных диалогов, разработанная командой OpenMOSS и MOSI.AI. Она преобразует текст диалога в непрерывное аудио и предназначена для генерации разговоров с несколькими участниками, включая подкасты, аудиокниги, интервью, спортивные комментарии, дубляж и развлекательный контент. Модель основана на архитектуре MossTTSDelay, имеет 8 млрд параметров и распространяется в формате Safetensors через Transformers. Она поддерживает управление диалогом с участием от одного до пяти голосов, передачу реплик и наложение речи, генерацию длительностью до 60 минут, а также клонирование голоса по короткому аудиопримеру длительностью 3–10 секунд. Поддерживаются 20 языков, включая китайский, английский, русский, японский и европейские языки. Для работы требуется текст диалога и эталонные аудиозаписи с расшифровками для голосов; на выходе модель создаёт речевое аудио. Заявленная лицензия — Apache-2.0. Качество и устойчивость очень длинной генерации, особенно при смене языков и наложении реплик, могут зависеть от входного текста и аудиопримеров.

Карточка модели Jinstudio/Qwen3-ASR-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Qwen3-ASR-0.6B — плотная модель распознавания речи семейства Qwen3-ASR, разработанная командой Qwen. Она принимает аудио и выполняет транскрибацию с автоматическим определением языка. Модель поддерживает 30 языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский; работает в потоковом и офлайн-режимах и рассчитана в том числе на длинные записи. Модель предназначена для распознавания речи в разных акустических условиях, включая речь, пение и песни с фоновой музыкой. Для интеграции доступны пакет qwen-asr и бэкенды Transformers и vLLM; потоковый режим поддерживается через vLLM. В README версия 0.6B описана как компромисс между точностью и эффективностью, с высокой пропускной способностью при параллельной обработке. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README не приводит отдельные результаты оценки качества именно версии 0.6B; характеристики уровня state of the art и сравнение с коммерческими API относятся к версии 1.7B. В потоковом режиме недоступны пакетная обработка и возврат временных меток.

Карточка модели mig-ai/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Qwen3-ASR-1.7B-hf — плотная модель распознавания речи семейства Qwen3-ASR от команды Qwen. Она принимает аудио и преобразует речь в текст, одновременно поддерживая определение языка; работает с потоковой и офлайн-обработкой, длинными аудиозаписями и пакетной транскрибацией. Модель основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров. Модель предназначена для распознавания речи на 30 языках и диалектах, включая русский, английский, китайский и кантонский, а также китайские региональные диалекты. В README также заявлена поддержка пения и песен с фоновой музыкой. Можно указать язык распознавания и передать контекст или ключевые слова, чтобы улучшить распознавание терминов и имён. Для временных меток слов предусмотрена отдельная модель Qwen3-ForcedAligner; это не функция данного чекпойнта. В README модель характеризуется как высокоточная и устойчивая к сложной акустической обстановке; приведены результаты оценки на наборе речевых тестов. Репозиторий использует Transformers и формат safetensors. Лицензия Apache-2.0.

Stable Audio 3 Optimized — экспериментальные сборки моделей семейства Stable Audio 3 от Stability AI, подготовленные для ускорения на определённом оборудовании. Семейство использует латентную диффузию на основе трансформера и семантико-акустический автоэнкодер; текстовый кондиционер построен на предварительно обученной T5Gemma. Репозиторий содержит форматы ONNX и TFLite, а README также описывает оптимизированные CPU-сборки и runtime LoRA для TensorRT. Модель предназначена для генерации музыки и звуков по текстовому описанию, а семейство Stable Audio 3 также поддерживает аудиоредактирование, заполнение фрагментов и продолжение коротких записей. Поддерживаемый язык — английский. Семейство рассчитано на генерацию аудио переменной длительности; README отмечает возможность создавать несколько минут аудио и приводит показатели скорости на H200 и MacBook Pro M4, но эти значения не гарантируют производительность именно данной оптимизированной сборки. Это экспериментальные контрольные точки, оптимизированные для конкретных аппаратных платформ; для стандартных контрольных точек README рекомендует Stable Audio 3 Medium. Указана Stability AI Community License; коммерческое использование зависит от её условий, а T5Gemma распространяется на условиях Gemma Terms of Use.

Это неизменённая копия конвейера pyannote/speaker-diarization-community-1, размещённая StillScript. Модель предназначена для диаризации аудиозаписей: определения участков речи и разметки того, кто говорил в каждый момент, включая случаи смены говорящего и перекрывающейся речи. Веса конвейера и компонентов segmentation, embedding и plda побайтно совпадают с upstream-репозиторием. Модель работает с аудио и выдаёт временную разметку говорящих. Копия опубликована в формате PyTorch; её лицензия — CC BY 4.0. README не сообщает размер модели, длину контекста или языковую специализацию.

Карточка модели SYNAPSEai1/SynapseMusicV12-XL-Turbo на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-turbo, поэтому описание составлено по ней. ACE-Step 1.5 XL Turbo — вариант модели ACE-Step 1.5 от проекта ACE-Step для генерации музыки и аудио. Это дистиллированная модель с архитектурой DiT Decoder и 3,1 млрд параметров по метаданным; README обозначает вариант как XL 4B. В карточке также указаны библиотека Transformers, формат safetensors и контекст 32 768 токенов. Модель предназначена для генерации аудио по текстовому описанию. Turbo-вариант рассчитан на быстрый вывод за 8 шагов и ориентирован на высокое качество звука; README отмечает, что XL совместима с LM-моделями ACE-Step размером 0,6B, 1,7B и 4B. Для запуска требуется GPU с 12–20 ГБ VRAM в зависимости от квантования и выгрузки на CPU. README сообщает, что обучение использовало лицензированную, royalty-free, общественно доступную и синтетическую музыку, а сгенерированную музыку можно использовать в коммерческих целях. Лицензия репозитория — MIT. Модель генерирует аудио, но сведения о поддерживаемых естественных языках и конкретных аудиоформатах в предоставленных данных отсутствуют.

TheWhisper-Large-V3-Turbo — квантованная версия openai/whisper-large-v3-turbo, разработанная TheStage AI на основе исходной модели OpenAI. Она предназначена для автоматического распознавания речи и оптимизирована для работы в реальном времени с низкой задержкой и энергопотреблением на NVIDIA GPU, а также на устройствах Apple Silicon через CoreML и Neural Engine. Модель поддерживает многоязычное распознавание, включая английский, арабский, болгарский, бенгальский, чешский, датский, немецкий, греческий, испанский, эстонский, финский, французский, хинди, венгерский, индонезийский, итальянский, литовский, латышский, нидерландский, польский, португальский, румынский, русский, словацкий, словенский, шведский, украинский и вьетнамский языки. Доступны пакетная транскрибация и потоковая обработка аудио; для поставляемых turbo-движков используется окно 10 секунд. Модель рассчитана на входной сигнал 16 кГц, моно, и может работать полностью на устройстве без сервера в контуре инференса. К сильным сторонам относятся поддержка NVIDIA GPU и Apple Silicon, режимы NPU, GPU и CPU, потоковая расшифровка и ориентация на on-device-сценарии. README не содержит точных сведений о числе параметров, архитектурных изменениях относительно исходной Whisper Large V3 Turbo или количественных результатах бенчмарков именно этой модели. Для Apple SDK требуется физическое устройство Apple Silicon, macOS 15 или iOS 18 и онлайн-проверка токена при инициализации; симулятор не поддерживается. Лицензия — CC BY 4.0.

deAPI-ai/whisper-large-v3-ct2 — локальный комплект для распознавания речи на основе Whisper large-v3, подготовленный в формате CTranslate2 для работы через faster-whisper. В комплект входят распознаватель речи, выравниватели на wav2vec2 для английского и польского языков, а также опциональный компонент pyannote для определения говорящих. Компоненты разрешаются из локальной директории, без загрузки файлов во время работы. Модель предназначена для транскрибирования аудио, получения временных меток слов и символов на английском и польском языках, а также диаризации при подключении соответствующих компонентов. Whisper large-v3 обеспечивает многоязычное распознавание речи; README отдельно указывает, что точные метки времени доступны для английского и польского. Комплект распространяется по лицензии other, поэтому условия использования следует проверять в карточке репозитория.

Карточка модели kelvinbksoh/whisper-medium-vietnamese-lyrics-transcription на Hugging Face совпадает с карточкой kelvinbksoh/whisper-large-v2-vietnamese-lyrics-transcription, поэтому описание составлено по ней. Модель kelvinbksoh/whisper-large-v2-vietnamese-lyrics-transcription — дообученная версия Whisper large-v2 для автоматической транскрибации вьетнамских песен. Её разработали Kevin Soh, Bernard Cheng Zheng Zhuan и Nguyen Quoc Anh; модель основана на openai/whisper-large-v2 и содержит около 905,2 млн параметров. Модель принимает аудио и выдаёт текстовую расшифровку вьетнамской песни. README описывает обучение на 7 000 песнях длительностью около 550 часов из разных жанров, диалектов и акцентов; для проверки использовалась выборка из 1 000 песен. При использовании Transformers pipeline поддерживает обработку длинных записей по фрагментам и выдачу временных меток на уровне слов. Для версии large-v2 в README приведены WER 24,61% с учётом регистра и 20,52% без учёта регистра, а CER — 17,14% и 16,09% соответственно. Эти показатели относятся к указанной в карточке валидационной выборке; качество может отличаться для других песенных жанров, диалектов и условий записи. Модель распространяется по лицензии Apache-2.0.

Карточка модели poroping/acestep-v15-xl-turbo на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-turbo, поэтому описание составлено по ней. ACE-Step 1.5 XL Turbo — вариант модели ACE-Step 1.5 от проекта ACE-Step для генерации музыки и аудио. Это дистиллированная модель с архитектурой DiT Decoder и 3,1 млрд параметров по метаданным; README обозначает вариант как XL 4B. В карточке также указаны библиотека Transformers, формат safetensors и контекст 32 768 токенов. Модель предназначена для генерации аудио по текстовому описанию. Turbo-вариант рассчитан на быстрый вывод за 8 шагов и ориентирован на высокое качество звука; README отмечает, что XL совместима с LM-моделями ACE-Step размером 0,6B, 1,7B и 4B. Для запуска требуется GPU с 12–20 ГБ VRAM в зависимости от квантования и выгрузки на CPU. README сообщает, что обучение использовало лицензированную, royalty-free, общественно доступную и синтетическую музыку, а сгенерированную музыку можно использовать в коммерческих целях. Лицензия репозитория — MIT. Модель генерирует аудио, но сведения о поддерживаемых естественных языках и конкретных аудиоформатах в предоставленных данных отсутствуют.

Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт текстовую расшифровку. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Карточка указывает поддержку распознавания на множестве языков, в том числе русском и английском. Репозиторий распространяется по лицензии MIT.

Карточка модели jie123123123/faster-whisper-large-v3-turbo-ct2 на Hugging Face совпадает с карточкой deepdml/faster-whisper-large-v3-turbo-ct2, поэтому описание составлено по ней. Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт текстовую расшифровку. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Карточка указывает поддержку распознавания на множестве языков, в том числе русском и английском. Репозиторий распространяется по лицензии MIT.

Systran/faster-whisper-tiny — конверсия модели openai/whisper-tiny в формат CTranslate2, подготовленная Systran для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи и представлена в виде весов FP16; при загрузке тип вычислений можно изменить параметром compute_type. Модель принимает аудио и преобразует речь в текст. Whisper поддерживает распознавание и транскрибирование многоязычной речи; метаданные перечисляют языки, включая английский, китайский, немецкий, русский, французский, японский, испанский и другие. Репозиторий содержит именно конвертированные веса и ссылается на карточку исходного Whisper tiny за подробностями о модели. Лицензия репозитория — MIT. Компактный вариант tiny подходит для сценариев, где важны скорость и умеренные вычислительные ресурсы; по сравнению с более крупными моделями качество распознавания может быть ниже, особенно на сложной или шумной речи.

MagpieTTS Multilingual 357M — мультиязычная модель синтеза речи от NVIDIA для преобразования текста в естественную речь. В карточке указана версия v2607 и архитектура encoder–decoder Transformer на 364 млн параметров; репозиторий содержит веса GGUF F16 для NeMo. Модель поддерживает арабский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, португальский, вьетнамский и китайский языки, а также пять голосов с постоянной идентичностью между языками. Модель подходит для голосовых агентов, озвучивания книг и другого контента, доступности, дубляжа и локализации. Она предсказывает дискретные аудиокодовые токены, которые декодируются в аудио; доступны пакетная генерация и длинная озвучка с обработкой текста окнами. Для стандартной генерации указана длительность до 20 секунд за раз, а для длинных фрагментов качество зависит от пунктуации и заглавных букв. Поддерживаются нормализация текста и произношение через IPA и пользовательские словари. Нулевая клонизация голоса в этой версии удалена. Для работы необходима нормализация текста; генерация на языках вне списка не поддерживается. Модель выпущена по NVIDIA Open Model License и, согласно карточке, готова к коммерческому использованию при соблюдении условий лицензии.

Nemotron-3.5 ASR Streaming 0.6B — мультиязычная модель автоматического распознавания речи, разработанная NVIDIA. Данная версия портирована в CoreML для локального запуска на устройствах Apple Silicon и предназначена для пакетной и потоковой транскрипции аудио. Модель поддерживает 40 языковых локалей, включая английский, немецкий, французский, русский, китайский, японский и хинди, а также выполняет пунктуацию и капитализацию. На вход подаётся монофонический звук с частотой 16 кГц. Архитектура представляет собой кэшируемый FastConformer с RNN-T и механизмом языкового кондиционирования. Модель содержит около 600 млн параметров; кодировщик состоит из 24 слоёв и квантизован в INT8, а декодер и joint-сеть используют FP16. Потоковая обработка выполняется фрагментами по 320 мс с сохранением внутренних кэшей. Размер набора на диске составляет около 612 МБ. Сильными сторонами являются низкая задержка, высокая скорость потоковой обработки и почти неизменная точность после квантизации. Ограничения включают ориентацию на экосистему CoreML и Apple Silicon, значительное потребление оперативной памяти — около 1 ГБ после загрузки и до 1,24 ГБ во время работы, — а также зависимость качества от языка и акустических условий. Модель распространяется по лицензии OpenMDW 1.1, соответствующей лицензии исходной модели NVIDIA; для исходной модели NVIDIA указана возможность коммерческого использования.

aufklarer/Pyannote-Segmentation-MLX — версия модели сегментации речи PyanNet, подготовленная для запуска на MLX. Она основана на pyannote/segmentation-3.0 и разработана для обнаружения активности речи и сегментации говорящих в аудиозаписях. Модель обрабатывает окна длительностью 10 секунд и выдаёт вероятности для семи классов: тишина или неречевая активность, отдельные говорящие из числа до трёх и их попарно перекрывающаяся речь. Архитектура включает SincNet, двунаправленную LSTM из четырёх слоёв и классификатор с двумя линейными слоями; размер — около 1,5 млн параметров. Веса преобразованы из официального чекпойнта PyTorch Lightning в формат для MLX, с предварительно вычисленными фильтрами SincNet. Репозиторий предназначен для использования с MLX и Swift на Apple Silicon. Лицензия — MIT.

ivrit-ai/pyannote-speaker-diarization-3.1 — форк модели pyannote/speaker-diarization-3.1, разработанной в экосистеме pyannote для анализа речи и голоса. Модель предназначена для автоматической диаризации аудиозаписей: определения количества говорящих и временных интервалов, в которых говорит каждый из них. По указанным меткам также заявлены задачи voice activity detection, обнаружения смены говорящих, перекрывающейся речи и сценарии, связанные с automatic speech recognition. Модель работает с аудио и относится к pipeline-моделям pyannote-audio; точные архитектура, размер, поддерживаемые языки и максимальная длина контекста в предоставленном README не указаны. Сильная сторона — ориентация на комплексную обработку многоговорящих аудиозаписей, однако качество для конкретных языков, акустических условий и случаев одновременной речи по этим данным оценить нельзя. Модель распространяется по лицензии MIT.