/ Модель

Характеристики

Размер весов
3,1 ГБ
Лицензия
Apache 2.0
Архитектура
voxtral_realtime · dense
Базовая модель
Voxtral-Mini-4B-Realtime-2602
Библиотека
mlx
Опубликована
6 фев 2026

Voxtral-Mini-4B-Realtime-2602-4bit

Распознавание речиАудио → текст6 профессий

Voxtral Mini 4B Realtime — потоковая модель распознавания речи, разработанная Mistral AI и представленная в 4-битной MLX-конвертации сообществом mlx-community.

1 435скачиваний за 30 дней17лайковвеса обновлены10 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для преобразования аудио в текст в реальном времени и пакетной транскрипции, включая сценарии с низкой задержкой и последовательной обработкой длинных аудиозаписей. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, итальянский, нидерландский, португальский, китайский, японский, корейский и русский языки.

Модель содержит около 4 млрд параметров: примерно 0,6 млрд приходится на причинный аудиоэнкодер, а около 3,4 млрд — на языковой декодер на базе Ministral-3B. Аудиоэнкодер использует скользящее оконное внимание и обеспечивает потоковую обработку, а оба компонента поддерживают обработку аудио неограниченной длины за счёт sliding window attention. Между энкодером и декодером применяется четырёхкратное уменьшение частоты кадров до 12,5 Гц. Рекомендуется жадное декодирование с температурой 0 и задержкой транскрипции 480 мс; меньшая задержка ускоряет вывод, но может снижать точность.

К сильным сторонам относятся поддержка потоковой транскрипции, низкая задержка, многоязычность и сниженное потребление памяти благодаря int4-квантизации. Ограничениями являются возможная потеря точности по сравнению с полноточной версией и компромисс между задержкой и качеством распознавания; заявленные показатели зависят от языка, набора данных и выбранной задержки. Модель распространяется по лицензии Apache 2.0 и рассчитана на запуск через библиотеку mlx-audio.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Voxtral Mini 4B Realtime

This is a 4-bit quantized MLX conversion of mistralai/Voxtral-Mini-4B-Realtime-2602, Mistral AI's streaming speech-to-text model.

Runs via mlx-audio.

Key Details

Parameters4B (~3.4B LM + ~0.6B Audio Encoder)
Quantizationint4
Base modelmistralai/Voxtral-Mini-4B-Realtime-2602
Languages13 (Arabic, German, English, Spanish, French, Hindi, Italian, Dutch, Portuguese, Chinese, Japanese, Korean, Russian)
LicenseApache 2.0

See also: fp16 variant

Usage

pip install mlx-audio[stt]
from mlx_audio.stt.utils import load

model = load("mlx-community/Voxtral-Mini-4B-Realtime-2602-4bit")

# Transcribe audio
result = model.generate("audio.wav")
print(result.text)

# Streaming transcription
for chunk in model.generate("audio.wav", stream=True):
    print(chunk, end="", flush=True)

# Adjust transcription delay (lower = faster but less accurate)
result = model.generate("audio.wav", transcription_delay_ms=480)

Recommended Settings

SettingValueNotes
Temperature0.0Always use greedy decoding
Transcription delay480msSweet spot of accuracy vs. latency
Delay range80ms – 2400msMultiples of 80ms

Benchmarks (from upstream)

FLEURS (13 languages, WER%)

DelayAVGENFRDEESZHJAKO
160ms12.606.469.759.505.3417.6719.1719.81
480ms8.724.906.426.193.3110.459.5915.74
960ms7.704.345.684.872.988.996.8014.90
2400ms6.734.055.234.152.718.485.5014.30

Long-form English (WER%)

DelayMeanwhileEarnings-21Earnings-22TEDLIUM
480ms5.0510.2312.303.17

Architecture

  • Causal audio encoder (~0.6B) with sliding window attention — enables true streaming
  • Language model decoder (~3.4B) based on Ministral-3B with adaptive RMS norm conditioned on transcription delay
  • 4x downsampling from encoder to decoder (frame rate = 12.5 Hz)
  • Both components use sliding window attention for unbounded audio length

More Info

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Ревизия весов
fdebf7b

0 моделей