I.7Речь, диалоги и встречи

MOSS-Transcribe-Diarize GGUF — это набор весов в формате GGUF для движка moss-transcribe.cpp, представляющий порт модели OpenMOSS MOSS-Transcribe-Diarize. Исходную модель разработала команда OpenMOSS / MOSI.AI, а конвертацию и C++/ggml-инференс подготовила команда LocalAI. Модель предназначена для распознавания речи в длинных аудиозаписях, определения говорящих и формирования временных меток за один проход. Результат содержит текст, идентификаторы говорящих и интервалы начала и окончания реплик. Модель работает локально на CPU, а также может использовать GPU через доступные бэкенды ggml; для инференса не требуются Python, PyTorch или CUDA toolkit. Веса, токенизатор, mel-фильтрбанк и конфигурация полностью включены в GGUF. Доступны варианты от F16 до Q4_0; квантованные версии значительно меньше и быстрее, при этом варианты до Q5 сохраняют побайтное совпадение транскрипта с эталонной моделью на проверочном примере, а Q4 дают совпадение слов с небольшими отличиями во временных метках. Размеры файлов составляют примерно от 511 МБ до 1,8 ГБ. Языки, максимальная длина контекста и точные архитектурные параметры в карточке не указаны. Модель распространяется по лицензии Apache-2.0; движок moss-transcribe.cpp имеет лицензию MIT.

Карточка модели Jinstudio/VibeVoice-ASR на Hugging Face совпадает с карточкой microsoft/VibeVoice-ASR, поэтому описание составлено по ней. VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.

VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.

Карточка модели Jinstudio/VibeVoice-ASR-HF на Hugging Face совпадает с карточкой microsoft/VibeVoice-ASR-HF, поэтому описание составлено по ней. VibeVoice-ASR — мультиязычная модель Microsoft для распознавания речи, доступная в версии, совместимой с Transformers. Она принимает аудио и формирует транскрипцию с текстом, временными метками и указанием говорящего; также можно передавать контекстные подсказки, например имена или специальные термины, чтобы помочь распознаванию.

VibeVoice-ASR — мультиязычная модель Microsoft для распознавания речи, доступная в версии, совместимой с Transformers. Она принимает аудио и формирует транскрипцию с текстом, временными метками и указанием говорящего; также можно передавать контекстные подсказки, например имена или специальные термины, чтобы помочь распознаванию.

DiCoW v3.2 — модель распознавания речи от команды BUT Speech@FIT Брненского технического университета, предназначенная для многособеседниковой автоматической транскрипции речи (MT-ASR) и распознавания речи целевого говорящего. Модель основана на Whisper large-v3-turbo и насчитывает около 905,2 млн параметров; в карточке указана архитектура DiCoW и формат весов safetensors. Для загрузки используется Transformers. В версии 3.2 применены преобразование FDDT с учётом диаризации, последовательное декодирование с резервным поиском, обнаружение и подавление галлюцинаций при инференсе, а декодер заморожен при дообучении для сохранения языковых возможностей. Обучение опиралось на NOTSOFAR-1, AMI Meeting Corpus и Libri2Mix; использовались шумовые аугментации, включая SpecAugment и смешивание с MUSAN. Модель рассчитана на многоязычную речь, однако конкретный перечень языков в предоставленных данных не приведён. Лицензия модели — CC BY 4.0; базовая модель имеет лицензию MIT, а обучающие данные — CC BY 4.0.

MOSS-Transcribe-Diarize 0.9B — мультимодальная модель семейства MOSS от OpenMOSS для расшифровки длинных аудио- и видеозаписей. Она за один проход преобразует запись в текст с временными метками и анонимными метками говорящих, совместно выполняя распознавание речи и диаризацию. Также модель может размечать акустические события и учитывать пользовательские инструкции и подсказки с терминами.

Community-1 — конвейер диаризации речи от pyannote, предназначенный для определения, кто и когда говорит в аудиозаписи. Он принимает монофонический звук с частотой 16 кГц; стерео и многоканальные записи автоматически сводятся к моно, а звук с другой частотой дискретизации преобразуется в 16 кГц. Результат включает обычную диаризацию и эксклюзивную разметку говорящих, упрощающую сопоставление с временными метками транскрипции. Модель улучшает назначение и подсчёт говорящих по сравнению с предыдущей версией pyannote speaker-diarization-3.1. Она подходит для локальной обработки, включая автономный режим, и может выполняться на CPU или GPU через библиотеку pyannote.audio. При известном или ограниченном числе говорящих это число можно задать при обработке. Несмотря на тег automatic-speech-recognition в метаданных, README описывает именно диаризацию, а не распознавание слов; транскрипт модель не выдаёт. Модель распространяется по лицензии CC BY 4.0. Для загрузки из Hugging Face необходимо принять условия использования и создать токен доступа. README приводит результаты оценки на нескольких академических наборах данных, но не гарантирует такие же показатели на конкретных записях; качество может зависеть от акустических условий и перекрывающейся речи.

SpeechLMM-v2.0-L-7B — мультимодальная инструкционная модель на 7 млрд параметров из семейства SpeechLMM 2.0, разработанного командой Meetween и участниками консорциума Meetween. Она дообучена на Qwen/Qwen2.5-Omni-7B для задач, связанных с речью и виртуальными совещаниями. Архитектура авторегрессионная; аудио-, видео- и визуально-речевые признаки поступают в представление Thinker через адаптеры, а для чтения по губам добавлен путь AutoAVSR. Модель принимает текст, речь и видео и может выдавать текст или речь. Она предназначена для распознавания и перевода речи, вопросов и ответов по устному или письменному содержанию, суммаризации, определения намерений, деления аудио на главы, диаризации говорящих с аудиовизуальным контекстом, чтения по губам и генерации речи. Поддерживаются чешский, нидерландский, английский, французский, немецкий, венгерский, итальянский, португальский, испанский и шведский языки. Модель рассчитана на отдельные задачи и на использование как компонента системы помощи при совещаниях. Лицензия CC-BY-NC-SA 4.0 ограничивает коммерческое использование. Качество может зависеть от языка, качества записи и конкретной задачи; README не приводит количественных оценок качества. Для обработки записей совещаний следует учитывать согласие участников и применимые правовые основания.

Tiron — модель распознавания речи с разделением реплик по говорящим, разработанная Trelis. Она построена на архитектуре Whisper large-v3 с расширенным словарём токенов и за один проход создаёт расшифровку с маркерами говорящих и временными метками. Число параметров — 905,3 млн; модель совместима с WhisperForConditionalGeneration и распространяется в формате safetensors. Модель предназначена для транскрибации многоголосых встреч и совещаний. Она обрабатывает аудио окнами по 30 секунд, поддерживает до восьми говорящих в окне, а для полной записи README рекомендует открытый harness, который выполняет разбиение на фрагменты и связывает говорящих между окнами. Заявлены английский и китайский языки, а также многоязычная поддержка. В бенчмарках авторов модель показала скорость около 43× реального времени на одном GPU при потреблении 3–12 ГБ видеопамяти. Метки говорящих анонимны и не сопоставляются с именами или образцами голоса. Встреча ограничена восемью глобальными говорящими при использовании harness; временные метки приблизительны, особенно при сильном перекрытии речи. Лицензия — Apache-2.0.

VibeVoice-ASR-7B — мультимодальная модель распознавания речи семейства VibeVoice, представленная в карточке bezzam; код и исходный проект связаны с Microsoft. Она принимает аудио и создаёт структурированную транскрипцию с текстом, временными отметками и указанием говорящих, объединяя распознавание речи, диаризацию и таймкодирование. Модель рассчитана на длинные записи до 60 минут за один проход, поддерживает более 50 языков и переключение языков в речи. Можно передавать контекстные подсказки и пользовательские ключевые слова для имён и специализированных терминов. Модель реализована как плотная архитектура VibeVoice ASR для Transformers и распространяется в формате safetensors; в README заявлена обработка аудио с контекстом до 64K токенов. Для запуска карточка указывает на использование отдельного форка Transformers, поскольку поддержка ещё не объединена с основной библиотекой. Лицензия — MIT. В README приведены результаты оценки на нескольких наборах данных, однако они не гарантируют аналогичное качество на других языках, типах записи и акустических условиях.

Voxtral Mini 4B Realtime 2602 — мультиязычная модель автоматического распознавания речи в реальном времени, разработанная Mistral AI и представленная в формате ONNX сообществом onnx-community на основе mistralai/Voxtral-Mini-4B-Realtime-2602. Она предназначена для потоковой транскрибации аудио, создания субтитров в реальном времени, голосовых ассистентов, частной расшифровки встреч и других приложений, где важны низкая задержка и непрерывная обработка речи. Модель содержит около 4 млрд параметров: языковую модель примерно на 3,4 млрд параметров и аудиоэнкодер примерно на 970 млн параметров. Аудиоэнкодер использует каузальное внимание, а обе основные части — скользящее оконное внимание, что поддерживает потоковую обработку продолжительных аудиосессий. Заявлены 13 языков: английский, французский, испанский, немецкий, русский, китайский, японский, итальянский, португальский, нидерландский, арабский, хинди и корейский. Задержка транскрибации настраивается; рекомендуемое значение — 480 мс, диапазон зависит от конфигурации и позволяет выбирать баланс между скоростью и точностью. Указана производительность свыше 12,5 токена в секунду на устройствах с минимальными аппаратными ресурсами. Сильные стороны модели — нативная потоковая архитектура, низкая задержка, поддержка нескольких языков, возможность развертывания на устройствах и качество, сопоставимое с офлайн-системами при задержке 480 мс. Ограничения включают компромисс между задержкой и точностью, а также зависимость длительности потоковой сессии от настроек максимальной длины контекста и доступных ресурсов. Модель выпущена в формате BF16 по лицензии Apache 2.0, допускающей исследовательское и коммерческое использование.

Карточка модели Jinstudio/Voxtral-Small-24B-2507 на Hugging Face совпадает с карточкой Mistral: Voxtral Small 24B 2507, поэтому описание составлено по ней. Voxtral Small 1.0 (24B) 2507 — мультимодальная модель Mistral, дообученная на базе mistralai/Mistral-Small-24B-Base-2501 для работы с аудио и сохранения возможностей текстовой языковой модели. Она принимает аудио и текстовые инструкции и генерирует текст: распознаёт речь, переводит её, отвечает на вопросы по аудиозаписям и составляет их краткие структурированные сводки. Модель поддерживает автоматическое определение языка речи и восемь языков: английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди. Контекст модели составляет 32 тыс. токенов; согласно карточке, она обрабатывает аудио до 30 минут при транскрибации и до 40 минут при анализе. Также заявлена экспериментальная поддержка вызова функций по голосовым инструкциям. Для запуска рекомендуются vLLM или Transformers; обработка на GPU требует около 55 ГБ видеопамяти в bf16 или fp16. Модель распространяется по лицензии Apache-2.0.

Whisper-large-v3-turbo Russian Stage AW — это дообученная Coriollon модель распознавания речи на базе openai/whisper-large-v3-turbo. Она специализируется на русском языке, сохраняя поддержку английского, и предназначена для преобразования аудио в текст с пунктуацией и заглавными буквами. Архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Модель особенно нацелена на длинные разговорные фрагменты: дообучение уменьшает потерю пунктуации во второй половине длинных реплик и встреч. Для Stage AW указаны совокупный WER 9,07% и рост плотности пунктуации в длинных репликах примерно в 2,7–2,9 раза относительно предыдущей версии. Репозиторий также содержит вариант faster-whisper с квантизацией int8 и вычислениями fp16. Модель распространяется по лицензии Apache-2.0. Ограничения: на короткой чистой речи качество пунктуации может быть ниже, чем у предыдущей версии, а на очень коротких фрагментах короче трёх секунд возможна избыточная пунктуация. Качество распознавания английской речи унаследовано от предыдущей версии и уступает исходной Whisper Turbo.

CrisperWhisper 2.0 Turbo — вариант модели распознавания речи семейства Whisper, разработанный Nyra Labs. Он предназначен для быстрого преобразования аудио в текст с выбором режима: дословная запись слов и речевых особенностей или отредактированная запись предполагаемого смысла. Модель содержит 905,3 млн параметров; репозиторий предоставляет веса в формате safetensors, а библиотека crisperwhisper поддерживает запуск через PyTorch или CTranslate2. Модель рассчитана на распознавание речи, включая заполнители пауз, повторы, обрывы слов и вокальные события, и может выдавать временные границы слов. Вариант Turbo — самый быстрый из описанных стандартных вариантов, но README отмечает некоторое снижение качества относительно более крупных моделей. Заявлена поддержка большинства языков Whisper; метаданные карточки указывают английский и немецкий. Стандартные модели распространяются по некоммерческой исследовательской лицензии, коммерческое лицензирование доступно отдельно.

Kimi-Audio-7B-Instruct — открытая универсальная аудиомодель компании Moonshot AI для распознавания и понимания звука, генерации речи и аудиодиалога. Модель содержит 7,1 млрд параметров; её архитектура объединяет непрерывные акустические и дискретные семантические аудиотокены с ядром LLM и параллельными головами для генерации текста и аудиотокенов. Для генерации аудио предусмотрена потоковая обработка чанками с детокенизатором на основе flow matching. Модель предназначена для распознавания речи, ответов на вопросы по аудио, создания аудиоподписей, распознавания эмоций и классификации звуковых событий и сцен, а также для голосового общения с генерацией текста и речи. В карточке указаны английский и китайский языки. Контекст модели — 8192 токена. Модель предварительно обучена на более чем 13 млн часов разнообразных аудиоданных и текстовых данных. Лицензия — MIT.

plaincompute/mlx-MOSS-Transcribe-Diarize-8bit — восьмибитная версия MOSS-Transcribe-Diarize для запуска через MLX на Apple Silicon. Веса текстовой части модели квантизированы методом MLX affine quantization с bits=8 и group_size=64; аудиоэнкодер Whisper и VQ-адаптер не квантизированы. Репозиторий основан на vanch007/mlx-MOSS-Transcribe-Diarize. Модель предназначена для распознавания речи из аудиофайлов и разделения транскрипта по говорящим. Метаданные указывают задачу automatic-speech-recognition и поддержку speaker diarization. Используется архитектура MossTranscribeDiarizeForConditionalGeneration с аудиоэнкодером Whisper. Лицензия — Apache-2.0.

MOSS-Transcribe-Diarize 0.9B — аудиомодель OpenMOSS-Team для транскрибирования длинных записей с несколькими говорящими. Она совместно распознаёт речь и выполняет диаризацию, формируя текст с временными метками и анонимными метками говорящих. Также может добавлять аннотации акустических событий. Модель рассчитана на встречи, звонки, подкасты, интервью, лекции и видео. Она обрабатывает аудио или видео за один проход, поддерживает записи длительностью до 90 минут, более 50 языков и подсказки с пользовательскими ключевыми словами для специальных терминов. В репозитории указана плотная архитектура conditional generation; для загрузки требуется Transformers с пользовательским кодом модели. Сильные стороны — совместная транскрипция и диаризация, временная разметка и обработка длинных записей. Метки говорящих анонимны и относятся только к конкретной записи; качество распознавания может зависеть от языка, шума и перекрывающейся речи. Модель распространяется по лицензии Apache-2.0.

MOSS-Transcribe-Diarize 0.9B — мультимодальная модель для распознавания и структурированного анализа длинных аудио- и видеозаписей. Она совместно выполняет транскрибацию и диаризацию: выдаёт текст с временными метками и относительными анонимными метками говорящих, а также может отмечать акустические события. В README модель представлена как разработка MOSS; репозиторий использует архитектуру MossTranscribeDiarizeForConditionalGeneration и библиотеку Transformers с пользовательским кодом загрузки. Модель предназначена для встреч, звонков, подкастов, интервью, лекций и других записей с несколькими участниками. Поддерживает более 50 языков, обработку записей длительностью до 90 минут за один проход и подсказки с пользовательскими ключевыми словами для терминологии предметной области. В метаданных указаны английский и китайский языки; README также сообщает о результатах соревнования на 14 языках, включая русский. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Для загрузки требуется разрешить выполнение пользовательского кода Transformers через trust_remote_code=True.

Карточка модели xqiuresearch/MOSS-Transcribe-Diarize-vuln на Hugging Face совпадает с карточкой xqiuresearch/MOSS-Transcribe-Diarize, поэтому описание составлено по ней. MOSS-Transcribe-Diarize 0.9B — мультимодальная модель семейства MOSS от OpenMOSS для расшифровки длинных аудио- и видеозаписей. Она за один проход преобразует запись в текст с временными метками и анонимными метками говорящих, совместно выполняя распознавание речи и диаризацию. Также модель может размечать акустические события и учитывать пользовательские инструкции и подсказки с терминами.

Nemotron 3.5 ASR — мультиязычная модель автоматического распознавания речи, разработанная NVIDIA. Модель содержит 600 млн параметров и использует архитектуру Cache-Aware FastConformer-RNNT для потоковой и пакетной транскрипции: она обрабатывает новые аудиофрагменты, переиспользуя кэшированный контекст. Размер фрагмента можно настраивать от 80 до 1120 мс, что позволяет выбирать баланс между задержкой и точностью. Вывод включает пунктуацию и заглавные буквы; при режиме auto модель также может определять язык речи и добавлять языковую метку. Модель транскрибирует речь на 32 локалях без дополнительной адаптации: 19 локалей заявлены как готовые для транскрипции с наивысшей точностью, ещё 13 обеспечивают широкое покрытие. Для восьми дополнительных локалей требуется дообучение на предметных данных. Поддерживаются, среди прочего, русский, английский, испанский, французский, арабский, японский и китайский языки. Модель рассчитана на голосовых агентов, обработку аудиопотоков с низкой задержкой и пакетную расшифровку записей. В README указана готовность к коммерческому использованию; метаданные обозначают лицензию как other, поэтому перед использованием следует проверить её условия в репозитории.

NVIDIA Nemotron 3 Nano Omni — мультимодальная модель семейства Nemotron, разработанная NVIDIA и представленная в репозитории Unsloth как вариант на основе nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16. В карточке указаны архитектура NemotronH_Nano_Omni_Reasoning_V3 и формат safetensors; вариант рассчитан на диалог и интерфейс вызова инструментов. В README также описана поддержка обработки текста, изображений, аудио и видео, включая распознавание речи, OCR и анализ графического интерфейса. Модель предназначена для корпоративных мультимодальных сценариев: ответов на вопросы и суммаризации записей встреч и видео, поиска по медиаматериалам, анализа документов, проверки информации в изображениях и автоматизации работы с GUI. README приводит примеры клиентского сервиса, медиа и развлечений, деловых и научных документов, а также браузерных и почтовых агентов. В метаданных перечислены языки английский, французский, испанский, итальянский, немецкий, японский и китайский; в README указана возможность коммерческого использования. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория.

Карточка модели framadhita/Q4_0-nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

Community-1 — конвейер диаризации речи, опубликованный командой pyannote. Он принимает аудио и определяет, кто и в какие моменты говорит, включая число говорящих и их временные интервалы. Входное аудио приводится к моно и частоте 16 кГц; конвейер pyannote.audio можно запускать локально, в том числе офлайн после загрузки модели, или использовать через облачный сервис pyannoteAI. Модель предназначена для разметки разговоров и записей с несколькими участниками. Она предоставляет обычную и эксклюзивную диаризацию: последняя упрощает сопоставление интервалов говорящих с временными метками транскрипции. В README сообщается об улучшении показателей диаризации по сравнению с предыдущим конвейером pyannote 3.1 на ряде академических тестов. Для доступа нужно принять условия использования на Hugging Face и получить токен. Лицензия репозитория — CC BY 4.0.

Speaker diarization 3.1 — открытый конвейер проекта pyannote, предназначенный для автоматической диаризации речи: определения участков речи, разделения говорящих и фиксации того, кто и когда говорит. Он также связан с задачами voice activity detection, обнаружения смены говорящего и перекрывающейся речи, поэтому подходит для обработки записей встреч, интервью, подкастов и других многоголосых аудиофайлов. Результат возвращается в виде объекта Annotation и может быть сохранён в формате RTTM. Конвейер принимает монофонический звук с частотой 16 кГц; стерео- и многоканальные записи автоматически сводятся к моно, а записи с другой частотой дискретизации пересчитываются до 16 кГц. В отличие от версии 3.0, сегментация и построение speaker embeddings выполняются полностью в PyTorch без problematic-зависимости onnxruntime, что должно упростить развёртывание и потенциально ускорить инференс. Для работы требуется pyannote.audio версии 3.1 или выше, а запуск возможен на CPU или GPU. Обработка выполняется автоматически, без ручной разметки voice activity и без обязательного предварительного указания числа говорящих, хотя можно задать точное число либо минимальную и максимальную границы. Ограничения включают необходимость принятия условий доступа к зависимым моделям pyannote и наличия Hugging Face access token; конкретные языки, размер внутренних моделей и максимальная длина контекста в README не указаны. Модель распространяется по лицензии MIT, однако для использования требуется выполнение условий gated-доступа к компонентам pyannote.

Community-1 — конвейер для диаризации речи от pyannote. Он принимает аудио и определяет, кто и когда говорит; результат включает временные интервалы с метками говорящих. Для входа используется монофоническое аудио с частотой 16 кГц: многоканальные записи автоматически сводятся к моно, а записи с другой частотой дискретизации пересчитываются до 16 кГц. По карточке модели, Community-1 улучшает назначение и подсчёт говорящих по сравнению с предыдущей версией pyannote speaker-diarization-3.1 и предоставляет эксклюзивную диаризацию, упрощающую сопоставление временных меток говорящих с временными метками транскрипции. Конвейер можно запускать локально, в том числе без подключения к интернету, или использовать через облачный сервис pyannoteAI. Для работы локально требуется pyannote.audio и токен Hugging Face с принятыми условиями доступа. Модель предназначена для анализа речи в записях с несколькими участниками, включая случаи перекрывающейся речи. В README приведены результаты на академических бенчмарках, но качество зависит от условий записи и домена. Метаданные указывают лицензию CC BY 4.0; при использовании следует соблюдать её условия.

cstr/vibevoice-asr-GGUF — это конверсия модели Microsoft VibeVoice-ASR в формат GGUF/ggml, подготовленная для запуска через CLI CrispASR. Модель предназначена для автоматического распознавания речи, транскрибации длинных аудиозаписей, определения говорящих и формирования временных меток. Она может обрабатывать до 60 минут аудио за один проход, а для более длинных записей используется потоковая сегментация. Результат выдаётся в структурированном JSON с текстом, идентификатором говорящего, временем начала и окончания сегмента. Поддерживаются контекст и пользовательские hotwords, а также автоматическое определение языка. Это speech-LLM примерно на 7 млрд параметров с акустическим и семантическим ConvNeXt-подобными энкодерами, двумя SpeechConnectors и декодером Qwen2-7B. Декодер имеет 28 слоёв, Grouped Query Attention с 28 query-heads и 4 KV-heads, размер скрытого состояния 3584 и контекст до 32768 токенов. Модель мультиязычная и заявлена для более чем 50 языков, включая английский, китайский, испанский, русский, японский, корейский, немецкий и другие. Доступны варианты квантования Q4_K_M размером около 5 ГБ, Q8_0 размером 9,45 ГБ и F16 размером 16 ГБ; Q8_0 позиционируется как вариант с качеством, близким к F16. К сильным сторонам относятся объединение транскрибации и диаризации в одной модели, сегментация с временными метками, поддержка длинных записей, hotwords и детерминированный режим работы C++-рантайма. Ограничения включают необходимость запуска через совместимый CrispASR и обязательную предварительную подготовку аудио: моно, 24 кГц, с нормализацией уровня. Модель распространяется по лицензии MIT.

VibeVoice-ASR-Streaming-1.5B — потоковая модель распознавания речи от Microsoft на базе семейства VibeVoice. Она преобразует поступающий аудиопоток в текст и связывает реплики с говорящими, а пользовательские ключевые слова помогают распознавать имена и специальные термины. Модель поддерживает 10 языков: китайский, английский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский. В метаданных указаны плотная архитектура VibeVoice и формат весов Safetensors; README сообщает размер 1,5 млрд параметров. Модель предназначена для сценариев потоковой транскрибации с атрибуцией говорящих и пользовательскими подсказками. Лицензия — MIT.

Voxtral-Mini-3B-2507-GGUF — это конверсия 3-миллиардной мультимодальной speech-LLM-модели Voxtral-Mini-3B-2507, разработанной Mistral, в формат GGUF для запуска через C++ runtime CrispASR. Модель предназначена для автоматического распознавания речи, транскрибации, перевода и понимания аудио, включая ответы на вопросы по содержимому записи, суммаризацию и вызов функций по голосовым намерениям. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди, а также автоматическое определение языка. Она сочетает 32-слойный Whisper-large-v3 audio encoder, проектор и 30-слойную Llama 3 / Ministral 3B-подобную языковую модель с GQA; общий объём параметров составляет около 3 млрд. Поддерживается до 30 минут аудио для транскрибации и до 40 минут для понимания. Аудиообработка встроена в GGUF, поэтому во время инференса не требуются Python, PyTorch или librosa. Доступны варианты квантования Q4_K размером 2,5 ГБ, Q8_0 размером 4,6 ГБ и F16 размером 8,7 ГБ. Q4_K рекомендован для практического использования и, согласно приведённым измерениям, примерно в 2,2 раза быстрее F16 на CPU при сохранении идентичной транскрипции. Ограничения включают более высокие требования к ресурсам и меньшую скорость по сравнению с компактными ASR-моделями на коротких аудиофрагментах, а также необходимость подавать моно WAV в формате PCM 16 кГц, 16 бит. Модель распространяется по лицензии Apache-2.0.

Voxtral Mini 3B 2507 Transformers Edition — мультимодальная модель семейства Voxtral от Mistral AI, основанная на Ministral-3B и дополненная обработкой аудио. Она принимает аудио и текстовые инструкции, распознаёт речь, переводит её и отвечает на вопросы по аудиозаписям; также поддерживает суммаризацию и вызов функций по голосовым намерениям. Модель работает через Transformers, использует плотную архитектуру VoxtralForConditionalGeneration, а карточка указывает формат safetensors и контекст до 32 тысяч токенов. Модель поддерживает английский, испанский, французский, португальский, хинди, немецкий, нидерландский и итальянский языки; для транскрибации автоматически определяет язык аудио. Согласно карточке, может обрабатывать аудио длительностью до 30 минут при транскрибации и до 40 минут при анализе. Лицензия Apache-2.0. Заявленные сценарии включают транскрибацию, перевод, вопросы и ответы по аудио, составление сводок и запуск действий по устным командам.