Характеристики

Контекст: 262 144 токена
Размер весов: 20,4 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5_moe · dense
Библиотека: mtplx
Опубликована: 6 июн 2026

Ссылки

Qwen3.6-35B-A3B-MTPLX-Optimized-Speed

Генерация текстаТекст → текст8 профессий

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Speed — локальная модель генерации текста семейства Qwen, подготовленная для быстрого запуска на устройствах Apple Silicon через MTPLX.

1 495скачиваний за 30 дней6лайковвеса обновлены17 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Разработчик модели в README явно не указан; репозиторий публикует адаптированный чекпойнт с поддержкой Multi-Token-Prediction speculative decoding, при котором собственные MTP-головы модели создают черновые токены, а основная модель их проверяет.

Модель предназначена для локального текстового вывода и сценариев, где важна высокая скорость генерации без отдельной модели-драфтера. Заявленная конфигурация — 35B-A3B, с 4-битным MLX-представлением основной части, калиброванными INT4 MTP-головами, 8-битными router и gate-тензорами там, где это предусмотрено конфигурацией, а также BF16-нормализациями, масштабами, смещениями и обычными тензорами. Для основной модели используется affine-квантизация MLX с group size 64, для MTP-весов — group size 32.

Ключевое преимущество — оптимизация под MTPLX и Apple Silicon: в измерениях с включённым reasoning и лимитом ответа 32 000 токенов режим D1 достиг 138,39 токена в секунду при acceptance 0,8858 против 94,46 токена в секунду у авторегрессионного baseline. Результаты зависят от оборудования, настроек и профиля запуска. Ограничения включают неполноточное квантизованное представление и ориентацию прежде всего на локальный запуск через MTPLX; сведения о поддерживаемых языках, размере контекстного окна, конкретных задачах качества и мультимодальности в README не указаны.

Лицензия — Apache-2.0.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.6-35B-A3B MTPLX Optimized Speed

Fast local 35B-A3B inference for Apple Silicon, packaged for MTPLX native Multi-Token-Prediction speculative decoding.

This is the speed-focused 35B checkpoint: a compact 4-bit MLX body with calibrated INT4 MTP heads, tuned so MTPLX can draft more confidently and verify less work per generated token.

Run It

brew install youssofal/mtplx/mtplx
mtplx start
mtplx run "hello" --model Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Speed

For an OpenAI-compatible local server:

mtplx serve --model Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Speed --profile sustained --max --port 8000 --no-stats-footer

Why This Exists

MTPLX uses the model's own MTP heads to generate draft tokens, then verifies them with the main model. When the draft heads are well-matched, you get higher throughput without using a separate drafter model.

This checkpoint is optimized for that path. MTPLX reads mtplx_runtime.json and selects the measured speed defaults automatically.

Recommended Runtime Defaults

Setting	Value
Backend	`qwen3-next-mtp`
Default depth	`D1`
Verifier strategy	`target_prefix`
Target sampler	`temp=0.60`, `top_p=0.95`, `top_k=20`
Draft sampler	`temp=0.60`, `top_p=0.95`, `top_k=20`
Profile	`sustained`
Benchmark fan mode	`max`

Performance

Measured in MTPLX Sustained Max on Apple Silicon with reasoning enabled and a 32k token response allowance. All recorded runs finished naturally without a length stop.

Mode	TPS	Verify time	Acceptance
AR baseline	94.46	-	-
D1 promoted default	138.39	69.30s	0.8858
D2 comparison	135.66	49.23s	0.8701, 0.6409
D3 comparison	107.67	46.45s	0.8291, 0.5414, 0.2783

D1 is the promoted default because it gives the best real-use balance: strong TPS, high acceptance, and lower verify cost than the earlier 35B speed baseline.

Model Build

Component	Format
Main body	4-bit MLX affine, group size 64
Router and gate tensors	8-bit where recorded by config
MTP numbered-expert weights	calibrated INT4, group size 32
Norms, scales, biases, plain tensors	BF16

This is not a full-precision checkpoint. It is built for fast local use on Apple Silicon through MTPLX.

Files

model-*.safetensors: MLX 4-bit body shards
mtp.safetensors: calibrated INT4 MTP sidecar
mtplx_runtime.json: MTPLX runtime contract and measured defaults
MTPLX_PUBLISH_MANIFEST.json: file sizes and benchmark summary
tokenizer and config files for local loading

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mtplx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: Qwen3_5MoeForConditionalGeneration
Ревизия весов: 9546051