Характеристики

Контекст: 262 144 токена
Размер весов: 475 МБ
Лицензия: Apache 2.0
Архитектура: qwen3_5_mtp · dense
Базовая модель: Qwen3.6-35B-A3B
Библиотека: mlx
Опубликована: 1 июн 2026

Ссылки

Qwen3.6-35B-A3B-MTP-4bit

Генерация текстаТекст → текст3 профессии

mlx-community/Qwen3.6-35B-A3B-MTP-4bit — это вспомогательная модель-драфтер с весами Multi-Token Prediction (MTP), выделенными из Qwen/Qwen3.6-35B-A3B и подготовленными сообществом mlx-community для работы со speculative decoding в MLX и mlx-vlm.

1 562скачиваний за 30 дней5лайковвеса обновлены1 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она не является самостоятельной чат-моделью или моделью для обычной генерации текста.

Модель предназначена для ускорения авторегрессионной генерации: она предлагает кандидаты токенов, а совместимая целевая модель Qwen3.6 35B-A3B проверяет их. Указанный тип модели — qwen3_5_mtp, размер блока MTP — 2, целевая архитектура — Qwen3.6 35B-A3B. Веса представлены в формате Safetensors и используют 4-битное аффинное квантование MLX с размером группы 64; для работы требуются MLX, mlx-vlm и runtime с поддержкой Qwen MTP draft-моделей.

Основное преимущество — потенциальное ускорение декодирования при совместном использовании с подходящим целевым чекпойнтом. Ограничение заключается в том, что репозиторий нельзя использовать автономно: стандартная генерация через generic Transformers API не ожидается. В README указан язык en. Лицензия — Apache-2.0; дополнительные условия использования следует проверять в карточке исходной модели Qwen/Qwen3.6-35B-A3B.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.6-35B-A3B-MTP-4bit

This repository contains quantized Multi-Token Prediction (MTP) drafter weights split from Qwen/Qwen3.6-35B-A3B for use with mlx-vlm speculative decoding.

This is not a standalone chat or text-generation model. Load it as the draft model alongside a compatible Qwen3.6 35B-A3B target checkpoint.

Use with mlx-vlm

uv run mlx_vlm.generate \
  --model Qwen/Qwen3.6-35B-A3B \
  --draft-model mlx-community/Qwen3.6-35B-A3B-MTP-4bit \
  --prompt "Hi, how are you?" \
  --max-tokens 256 \
  --enable-thinking

For local weights:

uv run mlx_vlm.generate \
  --model /path/to/target-model \
  --draft-model /path/to/Qwen3.6-35B-A3B-mtp-4bit \
  --prompt "Hi, how are you?" \
  --max-tokens 256 \
  --enable-thinking

Model Details

Model type: qwen3_5_mtp
MTP block size: 2
Target architecture: Qwen3.6 35B-A3B
Precision: MLX affine 4-bit, group size 64
Runtime: MLX / mlx-vlm
Format: Safetensors with MLX-compatible config and tokenizer files

The stored tensors use MLX affine quantization as described in config.json.

Intended Use

Use this repo only as a speculative decoding drafter for compatible Qwen3.6 35B-A3B checkpoints. The target model verifies drafted tokens, while this MTP model proposes candidate tokens per decoding step.

Limitations

This checkpoint requires runtime support for Qwen MTP draft models in mlx-vlm. Standard standalone generation through generic Transformers APIs is not expected to work with this repository by itself.

Please refer to the upstream Qwen/Qwen3.6-35B-A3B model card and license terms for model usage constraints.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Ревизия весов: 0295b81