4-битная MLX-версия Voxtral-Mini-4B-Realtime-2602 для потоковой транскрипции речи на нескольких языках.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это версия Voxtral-Mini-4B-Realtime-2602, преобразованная schroneko в формат MLX с 4-битным представлением для запуска через voxmlx. Базовая модель разработана Mistral AI и предназначена для потокового распознавания речи с низкой задержкой. Модель принимает аудио и выдаёт текстовую транскрипцию; в карточке указана поддержка английского, французского, испанского, немецкого, русского, китайского, японского, итальянского, португальского, нидерландского, арабского, хинди и корейского языков.
Репозиторий распространяется по лицензии Apache-2.0. MLX-версия рассчитана на запуск в экосистеме MLX; README предлагает использовать библиотеку voxmlx.
Квантизация до 4 бит может снижать точность по сравнению с исходной моделью. Для использования в описанном сценарии README предлагает библиотеку voxmlx и формат MLX.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model schroneko/Voxtral-Mini-4B-Realtime-2602-MLX-4bit was converted to MLX format from mistralai/Voxtral-Mini-4B-Realtime-2602 using voxmlx.
pip install voxmlx
from voxmlx import transcribe
text = transcribe("audio.flac", model_path="schroneko/Voxtral-Mini-4B-Realtime-2602-MLX-4bit")
print(text)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon.