I.7Речь, диалоги и встречи

Ultravox v0.4.1 Mistral Nemo — мультимодальная речевая языковая модель от Fixie.ai на основе Mistral-Nemo-Instruct-2407 и Whisper Large V3 Turbo. Она принимает аудио вместе с текстом, например системной инструкцией, и формирует текстовый ответ. Модель предназначена для голосовых агентов, анализа речи и перевода устной речи; README также отмечает низкую задержку первого токена и скорость генерации около 50–100 токенов в секунду на GPU A100 40 ГБ. Для обучения использовалась смесь наборов данных распознавания речи, продолжений текста, созданных Mistral Nemo, и наборов для перевода речи. Поддерживаемые языки включают арабский, немецкий, английский, испанский, французский, хинди, итальянский, японский, нидерландский, португальский, русский, шведский, турецкий, украинский и китайский. Модель принимает речь и текст, но выдаёт текст; генерация аудио в этой версии не поддерживается. Настройка предпочтений не проводилась. Лицензия — MIT.

Карточка модели fixie-ai/ultravox-v0_6-gemma-3-27b на Hugging Face совпадает с карточкой fixie-ai/ultravox-v0_6-llama-3_3-70b, поэтому описание составлено по ней. Ultravox v0.6 Llama 3.3 70B — мультимодальная речевая языковая модель от Fixie.ai. Она принимает текст и речь: аудио кодируется речевым энкодером Whisper large-v3-turbo и объединяется с текстовым запросом, после чего модель формирует текстовый ответ. В основе этой версии — Llama 3.3 70B. Модель предназначена для распознавания и анализа речи, речевого перевода и создания голосовых агентов. Версия v0.6 получила расширенные данные обучения на хинди, что улучшило понимание хинди, а также обучение на зашумлённых аудиоданных. При слишком шумном аудио или отсутствии разборчивой речи модель может выдать маркер ((noise)). Поддерживаются разные языки; в карточке перечислены, в частности, английский, хинди, японский, русский и китайский. Генерация аудио не поддерживается: ответ формируется текстом. Модель распространяется по лицензии MIT.

VibeVoice-ASR-Streaming-7B — потоковая модель распознавания речи семейства VibeVoice, представленная в карточке как модель для транскрибации с указанием говорящего. Она обрабатывает поступающую речь и связывает распознанный текст с тем, кто его произнёс; пользовательские горячие слова помогают распознавать имена и специальные термины. Модель поддерживает китайский, английский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки. В метаданных указаны архитектура VibeVoice, класс VibeVoiceForASRStreamingTraining, библиотека Transformers и формат safetensors. Размер 7B следует из названия модели. Лицензия — MIT. Карточка направляет к репозиторию microsoft/VibeVoice за кодом и инструкциями по использованию. Подробные сведения о контекстном окне, качестве распознавания и ограничениях в предоставленных материалах отсутствуют.

jonatasgrosman/wav2vec2-large-xlsr-53-russian — модель распознавания русской речи от Jonatas Grosman, дообученная на базе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и CSS10. Она использует архитектуру Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель преобразует аудиозапись русской речи в текст и подходит для транскрибации записей и оценки систем распознавания речи. Для входного аудио требуется частота дискретизации 16 кГц. Карточка указывает лицензию Apache-2.0.

Wav2Vec2-mBART-50-Ru — русскоязычная модель распознавания речи, разработанная на основе Wav2Vec2-Large-Ru-Golos и mBART-large-50. Она преобразует аудио с русской речью в текст с пунктуацией и заглавными буквами. Архитектура — SpeechEncoderDecoderModel: Wav2Vec2 служит аудиокодировщиком, а mBART — декодером текста. Модель дообучена на размеченных корпусах SberDevices Golos, русской части Common Voice 6.0, Sova RuDevices и части Russian Librispeech. Она подходит для транскрибации русской речи, в том числе записанной в дальней зоне. Для входного аудио требуется частота дискретизации 16 кГц. Модель распространяется по лицензии Apache-2.0.

jonatasgrosman/wav2vec2-xls-r-1b-russian — модель распознавания русской речи, дообученная Jonatas Grosman на основе facebook/wav2vec2-xls-r-1b с помощью инструмента HuggingSound. Модель использует архитектуру Wav2Vec2ForCTC и принимает аудио, записанное с частотой дискретизации 16 кГц, чтобы преобразовать речь в текст. Модель предназначена для автоматической транскрибации русской речи. При дообучении использовались обучающая и валидационная части Common Voice 8.0, Golos и Multilingual TEDx. В метаданных указаны 1,3 млрд параметров и поддержка русского языка. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

Sagicc/whisper-base-sr-yodas — модель распознавания речи на базе Whisper от OpenAI, дообученная на наборе данных YODAS. Она предназначена для преобразования аудио в текст; метаданные указывают на поддержку аудио на входе, а карточка приводит результаты оценки: WER 0,2450 и WER Ortho 0,3334. В репозитории указано 51,7 млн параметров и формат safetensors. Модель распространяется по лицензии Apache-2.0.

whisper-large-v2-gguf — это конвертация мультиязычной модели автоматического распознавания речи OpenAI Whisper large-v2 в формат GGUF для использования с transcribe.cpp. Модель разработана OpenAI, а сборки и конвертация опубликованы handy-computer. Она предназначена для расшифровки аудио, определения языка и перевода речи с поддерживаемых языков на английский текст. Модель использует архитектуру encoder-decoder Transformer и обрабатывает аудио окнами по 30 секунд с чанковой декодировкой длинных записей. Поддерживается широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 6,18 ГБ. Предусмотрены сегментные временные метки, но потоковая обработка не поддерживается. Сильные стороны модели — широкая языковая поддержка, распознавание, определение языка и перевод, а также несколько вариантов квантования для компромисса между качеством и требованиями к памяти. На тесте LibriSpeech test-clean заявленная WER составляет от 2,46% до 2,97% в зависимости от варианта, однако качество заметно различается между языками и наборами данных. Производительность зависит от оборудования и режима вычислений, а отсутствие streaming ограничивает применение в сценариях с минимальной задержкой. Модель распространяется по лицензии Apache-2.0.

mlx-community/whisper-large-v3-4bit — версия Whisper large-v3 от сообщества mlx-community, преобразованная из openai/whisper-large-v3 для использования с mlx-audio-plus. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно применять для транскрибации записей и расшифровки речи в приложениях на MLX. В основе лежит мультиязычная архитектура Whisper large-v3 от OpenAI. Название репозитория указывает на представление с 4-битной точностью; карточка сообщает о преобразовании в формат MLX, а метаданные указывают библиотеку mlx-audio-plus и файлы safetensors. Базовая модель поддерживает транскрибацию речи и перевод аудио в текст. Модель распространяется по лицензии Apache-2.0.

mlx-community/whisper-large-v3-asr-fp16 — преобразованная сообществом mlx-community версия OpenAI Whisper large-v3 для распознавания речи. Модель на архитектуре Whisper содержит около 905 млн параметров и предназначена для преобразования аудио в текст; репозиторий подготовлен в формате MLX для использования с библиотекой mlx-audio и содержит веса Safetensors в FP16. Модель подходит для транскрибации аудиозаписей и распознавания речи на разных языках, включая русский и английский. Карточка отсылает к исходной модели OpenAI за подробностями о её возможностях. Лицензия репозитория — Apache-2.0.

deAPI-ai/whisper-large-v3-ct2 — локальный комплект для распознавания речи на основе Whisper large-v3, подготовленный в формате CTranslate2 для работы через faster-whisper. В комплект входят распознаватель речи, выравниватели на wav2vec2 для английского и польского языков, а также опциональный компонент pyannote для определения говорящих. Компоненты разрешаются из локальной директории, без загрузки файлов во время работы. Модель предназначена для транскрибирования аудио, получения временных меток слов и символов на английском и польском языках, а также диаризации при подключении соответствующих компонентов. Whisper large-v3 обеспечивает многоязычное распознавание речи; README отдельно указывает, что точные метки времени доступны для английского и польского. Комплект распространяется по лицензии other, поэтому условия использования следует проверять в карточке репозитория.

mlx-community/whisper-large-v3-fp16 — версия Whisper large-v3 от сообщества mlx-community, преобразованная в формат MLX из openai/whisper-large-v3 с помощью mlx-audio-plus 0.1.4. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно использовать для транскрибации записей и аудиоввода в приложениях на MLX. Это мультиязычная модель семейства Whisper с плотной архитектурой. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. README описывает использование через mlx-audio-plus.

Apel-sin/whisper-large-v3-russian-ties-podlodka-v1.2 — русскоязычная модель распознавания речи на архитектуре Whisper large-v3. Она объединяет методом TIES модели antony66/whisper-large-v3-russian и bond005/whisper-large-v3-ru-podlodka; размер составляет 905,2 млн параметров. Модель предназначена для преобразования аудиозаписей в текст, в том числе телефонных разговоров. В карточке указано, что для обработки звонков рекомендуется предварительно подготовить записи и отрегулировать громкость. Модель помечена как незавершённая работа: автор планирует дополнительно адаптировать её для распознавания телефонной речи. Обучение связано с наборами Common Voice 17.0, Taiga Speech v2, Podlodka Speech и ruLibriSpeech. Использование совместимого с OpenAI API сервера описано как возможный способ запуска. Сведения о лицензии в предоставленных данных отсутствуют.

mlx-community/whisper-large-v3-turbo-8bit — конверсия мультиязычной модели распознавания речи OpenAI Whisper Large V3 Turbo в формат MLX; преобразование выполнено с помощью mlx-audio-plus версии 0.1.4. Модель предназначена для преобразования аудиозаписей в текст и запуска на совместимых с MLX устройствах. Модель относится к семейству Whisper и использует плотную архитектуру. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. В метаданных указана задача автоматического распознавания речи; исходная модель также поддерживает перевод аудио в текст. Качество распознавания зависит от языка, записи и фонового шума.

mlx-community/whisper-large-v3-turbo-fp16 — преобразованная в формат MLX модель распознавания речи на основе openai/whisper-large-v3-turbo. Разработчик репозитория mlx-community; преобразование выполнено с помощью mlx-audio-plus версии 0.1.4. Модель предназначена для преобразования аудиозаписей в текст. Она использует архитектуру Whisper и поддерживает мультиязычное распознавание речи. Репозиторий содержит веса в формате safetensors и предназначен для работы с библиотекой mlx-audio-plus. Лицензия — Apache-2.0. Производительность и качество зависят от языка, условий записи и используемого оборудования; README не приводит отдельных оценок для этой сборки.

RedHatAI/whisper-large-v3-turbo-FP8-dynamic — это квантизированная версия модели openai/whisper-large-v3-turbo, разработанная Neural Magic. Модель преобразует аудио в текст и предназначена для автоматического распознавания речи, включая транскрибацию аудиозаписей и обработку аудиовходов в приложениях, использующих vLLM. Для развёртывания требуется vLLM версии 0.5.2 или новее; также поддерживается OpenAI-совместимый режим сервинга через vLLM. Архитектура основана на whisper-large-v3-turbo и включает аудио-текстовый вход и текстовый выход. Веса и активации квантизированы в формате FP8 с динамической схемой квантизации; выходной lm_head не квантизируется. README не указывает точный размер модели, максимальную длину контекста и полный список поддерживаемых языков, однако приводит тег языка en и оценки для англоязычной транскрибации и перевода на английский. Ключевое преимущество модели — снижение вычислительных затрат при сохранении качества исходной модели: на LibriSpeech показатель WER составляет 2,2611 на test-clean и 4,3247 на test-other в конфигурации FP8. На test-clean результат сопоставим с BF16, а на test-other немного уступает ему. Ограничения включают зависимость от совместимого стека vLLM и отсутствие в README подробных данных о качестве на других языках и сценариях. Модель распространяется по лицензии Apache-2.0.

Whisper Small от FutureProofGlitch — дообученная версия openai/whisper-small для автоматического распознавания речи. Модель содержит 153,1 млн параметров и обучена на корпусе AMI Meeting Corpus, содержащем записи совещаний. Подходит для преобразования речи из записей встреч в текст; для оценки приведены WER 19,38 и WER Ortho 19,58 на тестовой выборке. Модель принимает аудио и выдаёт текст. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Подробности о сценариях применения и ограничениях качества в карточке не раскрыты.

mlx-community/whisper-small-asr-fp16 — преобразованная сообществом mlx-community в формат MLX модель OpenAI Whisper Small для распознавания речи. Она предназначена для преобразования аудиозаписей в текст; репозиторий использует библиотеку mlx-audio и содержит веса в формате safetensors. Модель насчитывает 153,1 млн параметров и поддерживает распознавание речи на множестве языков, включая русский и английский. Модель основана на openai/whisper-small и преобразована в формат MLX с помощью mlx-audio 0.2.10; это конверсия формата, а не новое дообучение. Лицензия репозитория — Apache-2.0. Карточка отсылает к исходной модели за подробностями о её характеристиках; отдельные ограничения в предоставленных данных не описаны.

OpenVINO/whisper-small.en-int8-ov — англоязычная модель автоматического распознавания речи на базе Whisper small, разработанного OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT8 с помощью NNCF; объём модели составляет около 153,1 млн параметров. Модель предназначена для преобразования английской речи в текст: расшифровки аудиозаписей, голосовых заметок, интервью и других источников аудио. Она поддерживает запуск через OpenVINO и Optimum Intel, включая инференс на CPU, и совместима с OpenVINO версии 2025.2.0 и выше и Optimum Intel версии 1.23.0 и выше. INT8-квантизация уменьшает размер весов и может сделать инференс более эффективным на совместимом оборудовании, однако модель рассчитана именно на английский язык. Использование распространяется по лицензии Apache-2.0.

whisper-small-gguf — набор GGUF-конвертаций модели OpenAI Whisper small, подготовленный handy-computer для работы с transcribe.cpp. Это мультиязычная encoder-decoder Transformer-модель для автоматического распознавания речи, определения языка и перевода речи на английский язык. Поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и другие. Модель обрабатывает аудио окнами по 30 секунд, а длинные записи расшифровывает с помощью пакетного разбиения на фрагменты. Потоковая обработка не поддерживается; доступны сегментные временные метки. Для скачивания предлагаются варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 172 до 969 МБ. На тесте LibriSpeech test-clean заявленная WER составляет 3,33–3,40% в зависимости от варианта, при этом качество существенно различается между языками и может быть слабее для некоторых из них. Модель подходит для локальной транскрипции аудио, многоязычного распознавания речи, определения языка и перевода речи на английский. Квантизованные версии уменьшают требования к памяти при близком качестве, но точность зависит от языка, качества записи и выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

ARK-ASR-0.6B — мультиязычная модель распознавания речи от проекта AutoArk. Она использует авторегрессионный декодер Qwen2 примерно на 0,6 млрд параметров, отдельный аудиоэнкодер в стиле Whisper сопоставимого масштаба и MLP-адаптер для преобразования аудиопризнаков. Модель принимает речь с частотой дискретизации 16 кГц и генерирует текстовую расшифровку; заявленная длина контекста — 32 768 токенов. Модель обучена по схеме адаптации на данных учителя и онлайн-дистилляции политики: её собственные варианты транскрипций сопоставляются с оценками учителя. Она предназначена для распознавания речи на китайском, английском, немецком, японском, французском, корейском, испанском, польском, итальянском, румынском, венгерском, чешском, нидерландском, финском, хорватском, словацком, словенском, эстонском и литовском языках. В приведённых авторами тестах качество сопоставимо с Qwen3-ASR-0.6B на английских и китайских наборах данных, но уступает более крупной Qwen3-ASR-1.7B на части тестов. Веса доступны в формате safetensors и распространяются по лицензии Apache-2.0. Для загрузки требуется Transformers с trust_remote_code=True; авторы рекомендуют официальный скрипт инференса, который обрабатывает аудиопромпт и фильтрацию токенов. Код обучения, инференса и оценки находится в отдельном репозитории open-audio-opd.

Borealis — русскоязычная аудиоязыковая модель с распознаванием речи, разработанная Ильёй Кулешовым и Александром Николичем из Vikhr Team. Репозиторий содержит чекпойнт архитектуры Borealis, вдохновлённой Voxtral; модель обучалась на примерно 7000 часах русскоязычного аудио. Модель предназначена для преобразования русской речи в текст и поддерживает расстановку пунктуации в распознанной речи. В README приведено сравнение с другими открытыми моделями ASR на нескольких наборах данных: средний WER Borealis составляет 6,33%; результаты различаются в зависимости от набора данных. Модель опубликована в формате PyTorch для Transformers и распространяется по лицензии Apache-2.0. В README не приведены размер модели, длина контекста и подробные инструкции по использованию; заявленный бенчмарк ещё не опубликован, поэтому результаты сравнения следует рассматривать с учётом этого ограничения.

NVIDIA NeMo Canary 1B Flash — многозадачная речевая модель с 883 млн параметров для распознавания речи и перевода речи в текст. Она использует архитектуру encoder-decoder: FastConformer-энкодер и Transformer-декодер; модель реализована для NeMo и опубликована в формате safetensors. Модель распознаёт английскую, немецкую, французскую и испанскую речь. Она также переводит речь с английского на немецкий, французский и испанский, а с этих трёх языков — на английский. Для этих языков доступна экспериментальная генерация временных меток слов и сегментов. Заявлена скорость более 1000 RTFx на наборах Open ASR Leaderboard; для аудио длиннее 40 секунд рекомендуется обработка частями, а для временных меток — чанками по 10 секунд. На вход подаются монофонические WAV или FLAC-файлы с частотой 16 кГц, на выходе — текст, при необходимости с временными метками. Для работы требуется NVIDIA NeMo. Модель не обрабатывает специальные символы и может требовать обратной нормализации текста; качество распознавания зависит от языка и характеристик записи. Лицензия CC-BY-4.0 допускает коммерческое использование.

CrisperWhisper — вариант Whisper для точной дословной транскрибации речи и получения временных меток на уровне слов. Карточка описывает модель как доработку Whisper с изменённым токенизатором и дополнительной функцией потерь для повышения точности выравнивания; в метаданных указаны архитектура Whisper, 905,2 млн параметров и формат safetensors. Базовые модели по данным каталога — nyrahealth/CrisperWhisper и openai/whisper-large-v3; каталог отмечает слияние моделей. Модель предназначена для сценариев, где важны заполнители пауз, повторы, запинки и ложные старты, например для анализа записей совещаний, интервью и выступлений. Для получения словных временных меток применяется выравнивание по cross-attention с помощью Dynamic Time Warping. README приводит результаты сравнения на нескольких наборах данных, но качество зависит от аудио и задачи; в отдельных примерах показаны лишние фрагменты распознавания. Поддержка карточкой указана для немецкого и английского языков. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

BUT-FIT публикует предварительно обученную модель DiariZen для обнаружения речевой активности и диаризации говорящих в аудио. Компонент EEND построен на WavLM Large и слоях Conformer; модель обучалась на одноканальных записях с дальних микрофонов из набора публичных датасетов, включая AMI, AISHELL-4, AliMeeting, NOTSOFAR-1, MSDWild, DIHARD3, RAMC и VoxConverse. К модели применено структурное прореживание с разреженностью 80%: число параметров WavLM Large уменьшено с 316,6 млн до 63,3 млн, а вычислительная стоимость — с 17,8 до 3,8 млрд MAC на секунду. Модель рассчитана на записи, где одновременно перекрываются не более трёх говорящих; для случаев с четырьмя перекрывающимися голосами авторы рекомендуют новую версию репозитория. В README приведены результаты на AMI, AISHELL-4 и AliMeeting, где DiariZen показывает меньшие значения метрики, чем Pyannote v3.1. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

BUT-FIT представляет DiariZen WavLM Large S80 MD v2 — модель для анализа речи и диаризации говорящих. Компонент EEND построен на WavLM Large и слоях Conformer; модель обучена на одноканальных дальнеполевых аудиозаписях из публичных наборов данных, включая AMI, AISHELL-4, AliMeeting, NOTSOFAR-1, MSDWild, DIHARD3, RAMC и VoxConverse. Модель поддерживает диаризацию при перекрывающейся речи до четырёх говорящих. После структурного прореживания с разреженностью 80% число параметров WavLM Large сокращено с 316,6 млн до 63,3 млн, а вычислительная стоимость — с 17,8 до 3,8 млрд MAC на секунду. Метаданные указывают задачу voice activity detection; README также описывает диаризацию говорящих. Модель предназначена для обработки дальнеполевых одноканальных записей встреч и разговоров. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README предупреждает, что устаревший код может ухудшить результаты или вызвать проблемы при работе.

Sortformer Diarizer 4spk v1 — модель NVIDIA для офлайн-диаризации речи, которая определяет активность до четырёх говорящих и отмечает временные границы их реплик. Она предназначена для анализа аудиозаписей разговоров, встреч, интервью и других многоголосых записей; модель не распознаёт произнесённые слова и не формирует текстовую расшифровку. Архитектура включает 18-слойный энкодер NeMo NEST на основе Fast-Conformer, за которым следует 18-слойный Transformer с размером скрытого слоя 192 и четырьмя сигмоидальными выходами на кадр. На вход подаётся моноаудио с частотой 16 кГц. Выход — вероятности активности каждого из четырёх говорящих по кадрам длительностью 0,08 секунды, из которых можно получить сегменты с временными метками и индексами говорящих. Модель работает в офлайн-режиме; длительность записи ограничена доступной видеопамятью. Она обучалась преимущественно на англоязычных данных, поэтому качество может снижаться для других языков и шумных или иных вне-доменных записей, а для более чем четырёх участников оно ухудшается. Модель доступна как предварительно обученный чекпойнт для NVIDIA NeMo и может использоваться для инференса или дообучения. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Это конверсия в формат MLX модели diar_sortformer_4spk-v1 от NVIDIA, подготовленная сообществом mlx-community с помощью mlx-audio 0.3.2. Модель предназначена для офлайн-разметки речи по говорящим и определения активности голосов: она обрабатывает монофоническое аудио с частотой 16 кГц и выдаёт вероятности активности говорящих для каждого временного кадра, поддерживая до четырёх говорящих. Архитектура включает FastConformer из 18 слоёв, Transformer Encoder из 18 слоёв и модули Sortformer; используются 80 мел-фильтров. Языковые характеристики, размер и длина контекста в предоставленных данных не описаны. Условия лицензии не приведены, поэтому определить их по этой карточке нельзя.

Это потоковая модель диаризации речи Sortformer, преобразованная сообществом mlx-community из модели NVIDIA diar_streaming_sortformer_4spk-v2.1 в формат MLX с помощью mlx-audio 0.3.2. В основе архитектура FastConformer из 17 слоёв, энкодер Transformer из 18 слоёв и модули Sortformer; модель принимает монофонический звук с частотой 16 кГц и выдаёт вероятности активности говорящих для каждого кадра. Она рассчитана на потоки и записи с числом говорящих до четырёх, используя кэш говорящих и контекст для обработки длинных потоков и границ аудиофрагментов. Модель подходит для разметки того, кто и когда говорит в аудиозаписи или потоке, а также для определения активности речи. README описывает веса в формате MLX, распространяемые как safetensors; для работы используется библиотека mlx-audio. Это конверсия исходной модели NVIDIA, а не самостоятельное дообучение. README отсылает к карточке исходной модели за дополнительными сведениями; лицензия и языковая специализация в предоставленных данных не описаны.

Карточка модели theoracleguy/diar_streaming_sortformer_4spk-v2.1-fp32 на Hugging Face совпадает с карточкой mlx-community/diar_streaming_sortformer_4spk-v2.1-fp32, поэтому описание составлено по ней. Это потоковая модель диаризации речи Sortformer, преобразованная сообществом mlx-community из модели NVIDIA diar_streaming_sortformer_4spk-v2.1 в формат MLX с помощью mlx-audio 0.3.2. В основе архитектура FastConformer из 17 слоёв, энкодер Transformer из 18 слоёв и модули Sortformer; модель принимает монофонический звук с частотой 16 кГц и выдаёт вероятности активности говорящих для каждого кадра. Она рассчитана на потоки и записи с числом говорящих до четырёх, используя кэш говорящих и контекст для обработки длинных потоков и границ аудиофрагментов. Модель подходит для разметки того, кто и когда говорит в аудиозаписи или потоке, а также для определения активности речи. README описывает веса в формате MLX, распространяемые как safetensors; для работы используется библиотека mlx-audio. Это конверсия исходной модели NVIDIA, а не самостоятельное дообучение. README отсылает к карточке исходной модели за дополнительными сведениями; лицензия и языковая специализация в предоставленных данных не описаны.