Характеристики

Контекст: 262 144 токена
Лицензия: Apache 2.0
Архитектура: qwen3_5_mtp · dense
Базовая модель: Qwen3.6-35B-A3B
Библиотека: mlx
Опубликована: 1 июн 2026

Ссылки

Hugging Face

Qwen3.6-35B-A3B-MTP-bf16

mlx-community

Генерация текстаТекст → текст3 профессии

Черновые MTP-веса для ускорения генерации Qwen3.6-35B-A3B методом speculative decoding в mlx-vlm.

340скачиваний за 30 дней0лайковвеса обновлены1 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это веса черновой модели Multi-Token Prediction (MTP), выделенные из Qwen/Qwen3.6-35B-A3B для ускорения генерации методом speculative decoding. Репозиторий mlx-community подготовлен для MLX и mlx-vlm; модель предлагает кандидаты токенов, которые затем проверяет совместимая целевая модель Qwen3.6-35B-A3B. Размер блока MTP — 2, точность — bf16, формат — safetensors.

Модель предназначена только для совместного использования с целевым чекпойнтом Qwen3.6-35B-A3B в поддерживающем MTP рантайме mlx-vlm. Она не является самостоятельной чат-моделью и не рассчитана на обычный запуск через Transformers без целевой модели и соответствующей поддержки чернового декодирования. Применяются условия лицензии Apache-2.0 и ограничения базовой модели.

Сценарии применения

ускорение генерации текста совместимой моделью Qwen3.6 в MLX
предложение нескольких токенов для проверки целевой моделью при speculative decoding
интеграция MTP-черновика в локальный пайплайн mlx-vlm

Ограничения

Не работает как самостоятельная чат-модель: требует совместимый целевой чекпойнт Qwen3.6-35B-A3B и рантайм mlx-vlm с поддержкой MTP. Обычная генерация через Transformers без этой связки не ожидается.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.6-35B-A3B-MTP-bf16

This repository contains Multi-Token Prediction (MTP) drafter weights split from Qwen/Qwen3.6-35B-A3B for use with mlx-vlm speculative decoding.

This is not a standalone chat or text-generation model. Load it as the draft model alongside a compatible Qwen3.6 35B-A3B target checkpoint.

Use with mlx-vlm

uv run mlx_vlm.generate \
  --model Qwen/Qwen3.6-35B-A3B \
  --draft-model mlx-community/Qwen3.6-35B-A3B-MTP-bf16 \
  --prompt "Hi, how are you?" \
  --max-tokens 256 \
  --enable-thinking

For local weights:

uv run mlx_vlm.generate \
  --model /path/to/target-model \
  --draft-model /path/to/Qwen3.6-35B-A3B-mtp \
  --prompt "Hi, how are you?" \
  --max-tokens 256 \
  --enable-thinking

Model Details

Model type: qwen3_5_mtp
MTP block size: 2
Target architecture: Qwen3.6 35B-A3B
Precision: bf16
Runtime: MLX / mlx-vlm
Format: Safetensors with MLX-compatible config and tokenizer files

The stored tensors are unquantized MLX-compatible drafter weights.

Intended Use

Use this repo only as a speculative decoding drafter for compatible Qwen3.6 35B-A3B checkpoints. The target model verifies drafted tokens, while this MTP model proposes candidate tokens per decoding step.

Limitations

This checkpoint requires runtime support for Qwen/DeepSeek MTP draft models in mlx-vlm. Standard standalone generation through generic Transformers APIs is not expected to work with this repository by itself.

Please refer to the upstream Qwen/Qwen3.6-35B-A3B model card and license terms for model usage constraints.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: e931b93