I.15Доступность и ассистивные технологии

SraVaani-1.0 — модель автоматического распознавания речи (ASR), разработанная ARTPARK-IISc. Она предназначена для преобразования аудиозаписей в текст, включая распознавание речи на индийских языках и диалектах в сценариях транскрибации и обработки голосовых данных. Модель основана на архитектуре FastConformer и содержит около 430 млн параметров. Она использует гибридный декодер TDT-CTC, доступна в формате FP16 и занимает примерно 900 МБ. Предварительное обучение проводилось на 31 255 часах речи из набора Vaani, охватывающего 105 языков, а последующая настройка — примерно на 31 270 часах транскрибированной речи на 65 индийских языках и диалектах. Также применялось выравнивание аудио и изображений на 11 млн пар, что предназначено для улучшения представлений аудиоданных. Модель поддерживает, среди прочих, Assamese, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Sanskrit, Tamil и Telugu, а также множество региональных языков и диалектов; поддерживается и English. Качество существенно различается между языками: для Hindi средний WER составляет 12,4%, тогда как для некоторых малоресурсных языков он превышает 70–90%, поэтому результаты требуют проверки в конкретном сценарии. Urdu и Kashmiri в выпущенной версии не поддерживаются. Модель распространяется по лицензии MIT.

Kyutai STT 2.6B — модель Kyutai для потоковой транскрибации речи на английском языке. Она начинает выдавать текст после поступления первых секунд аудио, поэтому подходит для приложений с распознаванием речи в реальном времени. Модель построена на архитектуре Transformer с декодером, использует многопоточную архитектуру Moshi: аудио кодируется токенизатором Mimi, а модель предсказывает текстовые токены с учётом аудиопотока. В репозитории указано 3,2 млрд параметров; задержка вывода составляет около 2,5 секунды. Модель рассчитана на потоковое распознавание, в том числе при шуме, и может обрабатывать аудио длительностью до двух часов без дополнительных изменений. Текст транскрипции включает заглавные буквы и пунктуацию; временные метки токенов можно восстановить с учётом смещения текстового потока. Для работы предусмотрена интеграция с Transformers версии 4.53.0 и выше. Веса распространяются по лицензии CC BY 4.0.

NVIDIA Conformer-Transducer X-Large — англоязычная модель автоматического распознавания речи из семейства Conformer, разработанная NVIDIA и доступная через инструментарий NeMo. Она преобразует монофоническую аудиозапись WAV с частотой 16 кГц в текстовую строку; результат записывается строчными буквами английского алфавита с пробелами и апострофами. Модель использует архитектуру Conformer-Transducer с авторегрессионным декодированием и содержит около 600 млн параметров. Её можно применять для транскрибации аудиофайлов или дообучать на другом наборе данных с помощью NeMo. Модель обучалась на составном наборе из нескольких тысяч часов английской речи, включающем Librispeech, Fisher, Switchboard, Common Voice и другие корпуса. Модель подходит для транскрибации английской речи, но качество может снижаться на технической лексике, незнакомом просторечии и речи с акцентом. Лицензия — CC BY 4.0; при использовании необходимо соблюдать её условия.

NVIDIA FastConformer-Hybrid Large (es) — модель автоматического распознавания испанской речи, разработанная NVIDIA и обученная с использованием инструментария NeMo. Она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает расшифровку в виде текста с заглавными и строчными буквами, пробелами, точками, запятыми и испанскими вопросительными знаками. Модель основана на архитектуре FastConformer с уменьшением временной размерности свёрточными слоями в 8 раз. Это крупная модель примерно на 115 млн параметров с гибридным обучением по функциям потерь Transducer и CTC; доступны оба режима декодирования. Она обучалась на составном наборе испанской речи, включающем Fisher, MCV12, MLS и VoxPopuli, и предназначена для транскрибации речи общего назначения. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи. Модель выводит ограниченный набор знаков препинания: точку, запятую и испанские вопросительные знаки. Лицензия — CC BY 4.0.

VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.

Voz — модель распознавания речи, созданная Desert Ant Labs на основе NVIDIA Parakeet TDT 0.6B v3. Разработчики преобразовали и сжали исходные веса для запуска на iPhone, iPad, Mac, Windows, в браузере и Node.js; по README, сами веса при этом не дообучались. Модель обрабатывает аудио окнами по 15 секунд и выдаёт текст транскрипции с временными отметками для отдельных слов. Поддерживаются 25 языков, включая русский. Для Apple-устройств используется Core ML с выполнением на Neural Engine; также доступны форматы ONNX и TFLite. Voz предназначена для локальной транскрипции записей, включая длинные файлы, с низкими требованиями к памяти и без отправки аудио с устройства. Заявленные результаты близки к Whisper large-v3-turbo, но точность зависит от языка и типа записи: модель лучше справляется с совещаниями, чем с подготовленной и дикторской речью; в подкастах разработчики советуют проверять примерно каждое десятое слово. Средняя ошибка временных отметок составляет около 83 мс для начала и 95 мс для конца слова. Модель распространяется на условиях CC BY 4.0, унаследованных от Parakeet TDT 0.6B v3.

facebook/wav2vec2-base-10k-voxpopuli-ft-de — модель распознавания речи на базе Wav2Vec2 от Facebook AI. Сначала её предварительно обучили на 10 тысячах часов неразмеченной речи из VoxPopuli, затем дообучили на расшифрованных немецкоязычных данных из этого корпуса. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров. Модель принимает аудио и преобразует немецкую речь в текст. Она предназначена для автоматической транскрибации немецкой речи, включая обработку записей и аудиоданных в приложениях распознавания речи. Для использования указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

Wav2Vec2-Large-960h-Lv60 — модель распознавания речи, разработанная Facebook. Это архитектура wav2vec 2.0 с примерно 402,7 млн параметров, реализованная как Wav2Vec2ForCTC. Модель предварительно обучена на аудио из Libri-Light и дообучена на 960 часах размеченной речи из LibriSpeech; она принимает речь с частотой дискретизации 16 кГц и преобразует её в текст на английском языке. Модель предназначена для транскрибации английской речи, в том числе записей, подобных аудиокнигам и тестовым наборам LibriSpeech. В описании исследования приведены результаты 1,8/3,3 WER на тестовых наборах LibriSpeech clean/other при обучении на всех размеченных данных; качество на иных типах аудио может отличаться. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

jonatasgrosman/wav2vec2-xls-r-1b-german — модель распознавания речи на немецком языке, дообученная Jonatas Grosman с помощью инструмента HuggingSound на базе facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров. Модель обучалась на данных Common Voice 8.0, Multilingual TEDx, Multilingual LibriSpeech и Voxpopuli. Модель преобразует немецкую речь в текст и подходит для транскрибирования аудиозаписей. Для входного аудио требуется частота дискретизации 16 кГц. Веса опубликованы в формате PyTorch по лицензии Apache-2.0.

jonatasgrosman/wav2vec2-xls-r-1b-portuguese — модель распознавания речи на португальском языке, созданная дообучением facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2 с выходной головой CTC и содержит около 1,3 млрд параметров. Для обучения использованы обучающие и валидационные части Common Voice 8.0, CORAA, Multilingual TEDx и Multilingual LibriSpeech; модель предназначена для преобразования португалоязычной речи в текст. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт транскрипцию. В карточке приведён пример использования через библиотеку HuggingSound. Модель опубликована под лицензией Apache-2.0. Карточка не сообщает метрики качества или ограничения на типы записей, поэтому практическую точность следует оценивать на данных целевого сценария.

Это версия модели распознавания речи Whisper Base, преобразованная сообществом mlx-community из openai/whisper-base в формат MLX с точностью FP16. Она предназначена для автоматической транскрипции аудио в текст и работает с библиотекой mlx-audio. Модель содержит около 51,7 млн параметров и поддерживает распознавание речи на множестве языков, включая русский и английский. Модель подходит для преобразования записей, интервью и разговоров в текст. Репозиторий распространяется по лицензии Apache-2.0. Качество распознавания зависит от языка, чистоты аудио и условий записи; карточка рекомендует обращаться к исходной модели для подробностей.

zuazo/whisper-base-es — дообученная модель распознавания речи, созданная на основе openai/whisper-base и набора данных Mozilla Common Voice 13.0 для испанского языка. Она использует архитектуру Whisper с 51,7 млн параметров и принимает аудио, выдавая распознанный текст. Модель предназначена для автоматической транскрипции испанской речи, например аудиозаписей и голосовых сообщений. На оценочной выборке указана WER 13,5312 и loss 0,3281. Базовая Whisper также умеет переводить речь на английский, но для этой версии карточка подтверждает дообучение именно для распознавания испанской речи. Модель распространяется по лицензии Apache-2.0, которая разрешает использование, изменение и распространение с указанием авторов. Результаты могут зависеть от акцента, качества записи и состава данных; карточка не приводит дополнительных ограничений или подробностей об оценочном протоколе.

OpenVINO/whisper-base-int8-ov — модель автоматического распознавания речи, разработанная на основе whisper-base от OpenAI и конвертированная в формат OpenVINO IR. Веса сжаты до INT8 с использованием NNCF, что предназначено для эффективного запуска инференса через OpenVINO. Модель работает с аудиоданными и поддерживает распознавание речи на множестве языков, включая английский, китайский, немецкий, испанский, русский, французский, японский и другие языки, указанные в карточке модели. Модель подходит для транскрибирования аудиозаписей и других задач автоматического распознавания речи. Она совместима с OpenVINO 2025.2.0 и новее, а также с Optimum Intel 1.23.0 и новее; в примерах предусмотрен запуск на CPU через OpenVINO GenAI. Для использования требуются соответствующие библиотеки OpenVINO, Optimum Intel или OpenVINO GenAI. Конкретные размер модели, длина контекста и архитектурные параметры в карточке не указаны. Ключевые характеристики оптимизации — асимметричное INT8-сжатие весов с размером группы 128 и представление OpenVINO IR. Это может снизить требования к ресурсам и упростить развертывание, однако возможны компромиссы между эффективностью и качеством по сравнению с исходной моделью. Ограничения следует уточнять в оригинальной карточке whisper-base от OpenAI. Модель распространяется под лицензией Apache-2.0.

OpenVINO/whisper-large-v3-int8-ov — это модель автоматического распознавания речи, основанная на Whisper large-v3, разработанном OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT8 с использованием NNCF. Она предназначена для преобразования аудиозаписей в текст и поддерживает широкий набор языков, включая английский, китайский, немецкий, испанский, русский, французский, японский, арабский, украинский и многие другие. Ключевые особенности модели — совместимость с OpenVINO и возможность запуска через Optimum Intel, OpenVINO GenAI или OpenVINO Model Server, в том числе на CPU и совместимом GPU. Квантизация INT8_ASYM с размером группы 128 снижает требования к памяти и может повысить эффективность инференса, однако README не содержит количественных данных о точности, скорости или влиянии сжатия на качество распознавания. Для работы требуется OpenVINO версии 2025.2.0 или новее и Optimum Intel версии 1.23.0 или новее. Модель распространяется по лицензии Apache-2.0; ограничения следует дополнительно учитывать по оригинальной карточке Whisper large-v3.

Whisper medium.en — англоязычная модель распознавания речи от OpenAI, представленная в исследовании по устойчивому распознаванию речи на основе масштабного слабого обучения. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и 455,8 млн параметров. Модель обучена на 680 тысячах часов размеченной речи и принимает аудио, выдавая текстовую расшифровку на английском языке. Модель подходит для транскрибирования английской речи, в том числе записей с акцентами, фоновым шумом и технической лексикой. Базовая обработка рассчитана на аудиофрагменты до 30 секунд; с чанкингом в Transformers можно обрабатывать записи произвольной длительности и получать временные метки. Чекпойнт использует только английский язык и не предназначен для многоязычного распознавания или перевода речи. Модель демонстрирует хорошую устойчивость, но может добавлять слова, которых нет в аудио, повторять текст и ошибаться; качество зависит от акцента и условий записи. Распространяется по лицензии Apache-2.0.

ARC-Qwen-Video-7B-Narrator — дообученная мультимодальная модель TencentARC на базе Qwen2.5-VL-7B-Instruct для анализа коротких видео. Она формирует описания с временными метками, различает говорящих и передаёт распознанную речь, помогая разбирать события и диалоги в роликах. Архитектура — плотная модель семейства Qwen2.5-VL с 7,1 млрд параметров; она обрабатывает видео и аудио и выдаёт текст. В метаданных указан контекст длиной до 128 000 токенов. Модель подходит для создания временной расшифровки ролика, краткого описания сцен и анализа последовательности событий. В README также показан сценарий, где результат модели передают внешней LLM для получения более подробного структурированного разбора. Для развёртывания описаны проверенные конфигурации с NVIDIA H20 и A100; установка зависит от соответствующих библиотек и окружения. Модель распространяется по лицензии Apache-2.0.

Карточка модели aTrain-core/faster-distil-whisper-large-v2 на Hugging Face совпадает с карточкой Systran/faster-distil-whisper-large-v2, поэтому описание составлено по ней. Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.

Это конверсия модели распознавания речи Whisper large-v2, разработанной OpenAI, в формат CTranslate2. Репозиторий подготовлен для использования в CTranslate2 и проектах на его основе, включая faster-whisper; веса сохранены в FP16, а тип вычислений можно менять при загрузке через параметр compute_type. Модель принимает аудио и преобразует речь в текст. Она поддерживает многоязычное распознавание, в том числе русский и английский, а также другие языки, перечисленные в карточке. Лицензия репозитория — MIT. Ограничения качества и рекомендуемые сценарии в README этой конверсии не описаны.

Sanat-agrwl/indic-whisper-ctc-timestamps — модель Саната Кумара Агравала и Шриканта Раджа Четупатли для распознавания речи на хинди с временными метками слов. Это Whisper large-v2, дообученная для хинди и дополненная символьной CTC-головой, которая использует то же представление аудио, что и декодер транскрипции. Модель выполняет один проход энкодера: декодер формирует текст, а CTC-голова оценивает границы слов с разрешением 20 мс. Модель подходит для транскрибирования хинди-речи и автоматической разметки начала и конца каждого слова. В тесте IndicVoices-R для хинди указана WER 14,6%; среднее расхождение границ с внешним выравнивателем составляет 20,8 мс, однако это согласие между системами, а не точность относительно человеческой разметки. По README, калибровка уменьшает среднюю ошибку относительно человеческой разметки с 74,5 до 43,0 мс. Распространяется по лицензии Apache-2.0.

KB-Whisper Tiny — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab) как часть семейства Whisper. Это дообученная версия OpenAI Whisper Tiny с архитектурой Whisper; в метаданных указано 29,4 млн параметров. Модель принимает аудио и преобразует шведскую речь в текст. Она обучена на более чем 50 000 часах шведской аудиозаписи с транскрипциями и предназначена для распознавания речи в аудиозаписях и создания расшифровок. По README, на тестах FLEURS, CommonVoice и NST версия tiny показала WER 13,2, 12,9 и 11,2 соответственно; доступны стили транскрипции Stage 2, Subtitle и Strict. Репозиторий содержит веса в форматах Safetensors и ONNX, а автор также описывает варианты для whisper.cpp и CTranslate2. Модель распространяется по лицензии Apache-2.0. Результаты относятся к указанным наборам и условиям оценки; для других аудио качество может отличаться.

lemura-arabic-asr-qwen3 — модель распознавания арабской речи от Lemura Labs, дообученная на базе Qwen/Qwen3-ASR-1.7B. Это генеративная ASR-модель: аудиоэнкодер передаёт аудиоконтекст декодеру на основе Qwen3, который выдаёт транскрипцию как текст. Модель предназначена для современного литературного арабского языка и диалектов Персидского залива, Египта, Леванта, Ирака и Магриба, включая марокканскую дариджу; поддерживает переключение между арабским и английским. Модель рассчитана на расшифровку голосовых сообщений, звонков, медиаматериалов и аудио для голосовых агентов. Список направляющих слов можно использовать для распознавания имён, брендов и специальной терминологии. Веса bf16 опубликованы в формате safetensors; для вывода подходят Transformers и ms-swift. Входное аудио должно быть монофоническим с частотой 16 кГц; базовое окно обработки — 30 секунд, поэтому длинные записи нужно делить на фрагменты. Рекомендуется жадное декодирование. Лицензия — Apache-2.0. Качество может снижаться на незнакомых акцентах, в новых предметных областях и при сильном шуме или удалённой записи; марокканская дариджа остаётся особенно сложным случаем. Модель не оценивалась для скрытой идентификации говорящих и не предназначена для такого применения; возможны смещения из обучающих корпусов.

Lite-Whisper large-v3 — сжатая версия мультиязычной модели распознавания речи Whisper, разработанная авторами LiteASR на основе openai/whisper-large-v3. Модель принимает аудио и преобразует речь в текст; её можно применять для транскрибации записей и других сценариев автоматического распознавания речи. В карточке указаны 905,2 млн параметров, архитектура LiteWhisperForConditionalGeneration и формат Safetensors. В сравнении на наборах ESB средняя частота ошибок слов (WER) составляет 10,2; для Whisper large-v3 в той же таблице указано 10,1. Модель распространяется по лицензии Apache-2.0.

NbAiLab/Nb-wav2vec2-1b-bokmaal — модель автоматического распознавания речи, разработанная командой NbAiLab для норвежского языка букмол. Она дообучена на базе XLS-R от Facebook/Meta и использует архитектуру Wav2Vec2 с CTC-декодированием; размер модели — 1,3 млрд параметров. Для обучения использовался Norwegian Parliamentary Speech Corpus (NPSC). Модель предназначена для преобразования норвежской речи в текст. На тестовом наборе указана оценка WER 6,33% и CER 2,48% с 5-граммовой языковой моделью KenLM; без неё — WER 7,38% и CER 2,63%. Для применения с другими типами речи качество может отличаться. Модель распространяется по лицензии Apache 2.0.

Карточка модели BasedBoba2/nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

Orukeet — модель распознавания речи от Oruk AI, созданная на основе NVIDIA Parakeet TDT 0.6B v3. Это мультиязычная модель на 25 языков для транскрибирования аудиозаписей, медиаматериалов и потоков пакетной обработки, а также для серверных и интерактивных приложений. Модель сохраняет 627 млн параметров, 24-слойный энкодер FastConformer и transducer-архитектуру Parakeet. В половине временных depthwise-фильтров энкодера используются 12 288 обученных и зафиксированных Gabor-ядер. В описанных тестах Orukeet показала меньший WER, чем исходная Parakeet, на 61 из 74 тестовых срезов; например, объединённый WER по 25 языкам FLEURS составил 9,85% против 11,01%. Доступны варианты для NeMo, ONNX INT8, GGUF Q8 и F16, а также экспорт Transformers. Карточка описывает обучение и выбор контрольной точки на записях LibriSpeech test-other, поэтому результаты оценки следует учитывать с этой оговоркой. Модель распространяется по лицензии CC-BY-SA-4.0.

NVIDIA Conformer-Transducer Large (en-US) — модель распознавания речи, разработанная NVIDIA и предназначенная для работы в инструментарии NeMo. Она преобразует монофоническую английскую речь в текст в нижнем регистре; входной формат — аудио WAV с частотой 16 кГц. Модель построена на архитектуре Conformer-Transducer, использует авторегрессионное декодирование и обучена с функцией потерь Transducer. Размер — около 120 млн параметров. Для обучения использован составной набор англоязычных речевых данных, включая LibriSpeech, Fisher, Switchboard, VoxPopuli, Common Voice и People’s Speech. В README приведены результаты WER для нескольких тестовых наборов. Модель подходит для транскрибации аудиозаписей и может использоваться как предварительно обученный чекпойнт для дообучения на других данных. Её ограничения включают возможное ухудшение качества на технической лексике, непривычной разговорной речи и речи с акцентом. Лицензия — CC BY 4.0.

Карточка модели Jinstudio/VibeVoice-ASR на Hugging Face совпадает с карточкой microsoft/VibeVoice-ASR, поэтому описание составлено по ней. VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.

VibeVoice-ASR-7B — мультимодальная модель распознавания речи семейства VibeVoice, представленная в карточке bezzam; код и исходный проект связаны с Microsoft. Она принимает аудио и создаёт структурированную транскрипцию с текстом, временными отметками и указанием говорящих, объединяя распознавание речи, диаризацию и таймкодирование. Модель рассчитана на длинные записи до 60 минут за один проход, поддерживает более 50 языков и переключение языков в речи. Можно передавать контекстные подсказки и пользовательские ключевые слова для имён и специализированных терминов. Модель реализована как плотная архитектура VibeVoice ASR для Transformers и распространяется в формате safetensors; в README заявлена обработка аудио с контекстом до 64K токенов. Для запуска карточка указывает на использование отдельного форка Transformers, поскольку поддержка ещё не объединена с основной библиотекой. Лицензия — MIT. В README приведены результаты оценки на нескольких наборах данных, однако они не гарантируют аналогичное качество на других языках, типах записи и акустических условиях.

Voxtral Mini 4B Realtime 2602 — мультиязычная модель распознавания речи в реальном времени от Mistral AI, опубликованная на Hugging Face организацией RedHatAI. Она преобразует потоковое аудио в текст и рассчитана на транскрибацию с низкой задержкой; в README рекомендуют задержку 480 мс. Модель построена на плотной архитектуре VoxtralRealtimeForConditionalGeneration и дообучена на базе mistralai/Ministral-3-3B-Base-2512. Весовая версия в формате safetensors поддерживается vLLM; README также указывает поддержку в Transformers начиная с версии 5.2.0. Модель предназначена для потоковой расшифровки аудио, включая длинные записи: для vLLM по умолчанию указан максимальный контекст 131072 токена, что соответствует примерно трём часам. В тесте Fleurs средняя частота ошибок слов при задержке 480 мс составила 8,72%; показатели различаются по языкам. Для запуска в BF16 требуется одна GPU с памятью от 16 ГБ. Модель поддерживает английский, французский, испанский, немецкий, русский, китайский, японский, итальянский, португальский, нидерландский, арабский, хинди и корейский языки. Лицензия — Apache-2.0. README отмечает, что из-за новой архитектуры официальная поддержка на момент карточки доступна в vLLM, а интеграции в другие среды перечислены как непроверенные.

Voxtral Mini 4B Realtime — потоковая модель распознавания речи, разработанная Mistral AI и представленная в 4-битной MLX-конвертации сообществом mlx-community. Модель предназначена для преобразования аудио в текст в реальном времени и пакетной транскрипции, включая сценарии с низкой задержкой и последовательной обработкой длинных аудиозаписей. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, итальянский, нидерландский, португальский, китайский, японский, корейский и русский языки. Модель содержит около 4 млрд параметров: примерно 0,6 млрд приходится на причинный аудиоэнкодер, а около 3,4 млрд — на языковой декодер на базе Ministral-3B. Аудиоэнкодер использует скользящее оконное внимание и обеспечивает потоковую обработку, а оба компонента поддерживают обработку аудио неограниченной длины за счёт sliding window attention. Между энкодером и декодером применяется четырёхкратное уменьшение частоты кадров до 12,5 Гц. Рекомендуется жадное декодирование с температурой 0 и задержкой транскрипции 480 мс; меньшая задержка ускоряет вывод, но может снижать точность. К сильным сторонам относятся поддержка потоковой транскрипции, низкая задержка, многоязычность и сниженное потребление памяти благодаря int4-квантизации. Ограничениями являются возможная потеря точности по сравнению с полноточной версией и компромисс между задержкой и качеством распознавания; заявленные показатели зависят от языка, набора данных и выбранной задержки. Модель распространяется по лицензии Apache 2.0 и рассчитана на запуск через библиотеку mlx-audio.