Характеристики

Контекст: 262 144 токена
Размер весов: 104 ГБ
Лицензия: Своя лицензия
Архитектура: qwen4_exp · dense
Базовая модель: Qwen3.8-Flash-Next
Библиотека: mlx
Опубликована: 26 авг 2026

Ссылки

Qwen3.8-Flash-Next-MLX-4bit

Изображение и текст → текст11 профессий

Qwen3.8-Flash-Next MLX 4bit — локальная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем nopmobiel.

256скачиваний за 30 дней1лайквеса обновлены26 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана командой Qwen и предназначена для локального мультимодального общения, генерации текста и понимания изображений на компьютерах Apple с поддержкой MLX.

Модель поддерживает текстовые и визуальные входные данные; в README указаны теги vision-language и совместимый с Qwen3-VL процессор. Языковые веса квантизированы в affine 4-bit с размером группы 64, embedding PLE n-gram — в affine 4-bit с размером группы 32, маршрутизирующие MoE-гейты — в 8-bit с размером группы 64, а vision tower работает в BF16. Контекстное окно, точный размер модели и перечень поддерживаемых языков не указаны. Тензоры для native MTP и speculative decoding в контрольную точку не включены.

Сильные стороны модели — локальная работа, поддержка изображений, заметная скорость генерации на Apple M5 Max и совместимость с MLX-VLM и экспериментальным runtime LM Studio. Ограничения включают необходимость специальной поддержки Qwen4-Exp в runtime, экспериментальную интеграцию с LM Studio и высокие требования к памяти: измеренный пиковый расход составляет около 104,1 ГБ, поэтому модель не рекомендуется для Mac с меньшим объёмом памяти. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-Flash-Next MLX 4-bit

Local MLX conversion of Qwen/Qwen3.8-Flash-Next.

Language weights: affine 4-bit, group size 64.
PLE n-gram embedding: affine 4-bit, group size 32.
MoE routing gates: affine 8-bit, group size 64.
Vision tower: BF16.
Native MTP tensors are not included in this base checkpoint.

This model requires the Qwen4-Exp support in the accompanying local mlx-vlm checkout.

Runtime setup

Qwen4-Exp is newer than the current stock mlx-vlm model registry. Until the implementation is upstreamed, use the runtime module bundled in this repo:

git clone https://github.com/Blaizzy/mlx-vlm.git
cp -R mlx_vlm_qwen4_exp/qwen4_exp mlx-vlm/mlx_vlm/models/qwen4_exp

python3 -m venv .venv
.venv/bin/pip install -e ./mlx-vlm
.venv/bin/pip install --upgrade git+https://github.com/huggingface/transformers.git

.venv/bin/mlx_vlm.generate \
  --model . \
  --prompt "Hello!" \
  --max-tokens 256

The bundled module registers the Qwen3-VL-compatible processor and multimodal chat format automatically. Native MTP speculative decoding is not included.

For an interactive terminal chat after setup:

.venv/bin/mlx_vlm.chat \
  --model . \
  --max-tokens 512 \
  --temperature 0.0

Commands inside the chat include /image <path>, /clear, and /exit.

LM Studio (experimental)

LM Studio's current MLX runtime does not yet bundle qwen4_exp. From this model directory, install the included compatibility module:

chmod +x install_lmstudio_patch.sh
./install_lmstudio_patch.sh

Then unload and reload the model in LM Studio. On a 128 GB Mac, LM Studio may still reject the checkpoint based on its conservative memory estimate. Enable Developer Mode and select Settings → Hardware → Model loading guardrails → OFF only after closing other memory-heavy applications. The measured peak is about 104.1 GB, so smaller-memory Macs are not recommended.

Verified with LM Studio 0.4.21 (Build 2), MLX runtime 1.11.0, including multi-turn text chat and image understanding. The compatibility module also supplies the sparse-attention path needed by larger image prompts. Updating LM Studio's MLX runtime may replace the installed module; rerun the script if qwen4_exp becomes unrecognized again or vision generation fails after an update.

Verified locally

Tested on a 128 GB Apple M5 Max:

Text: 9.13 prompt tokens/s, 60.95 generation tokens/s.
Image + text: 214.84 prompt tokens/s, 48.92 generation tokens/s.
Peak unified memory: 104.07 GB.
LM Studio multi-turn text chat: 36.63 generation tokens/s.
LM Studio image understanding: 31.01 generation tokens/s.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: Qwen4ExpForConditionalGeneration
Ревизия весов: 8577fa9