Характеристики

Контекст: 262 144 токена
Размер весов: 20,4 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5_moe · dense
Библиотека: mtplx
Опубликована: 7 июн 2026

Ссылки

Hugging Face

Qwen3.6-35B-A3B-MTPLX-Optimized-Speed-FP16

Youssofal

Генерация текстаТекст → текст13 профессий

Это языковая модель семейства Qwen3.6, подготовленная пользователем Youssofal и упакованная для библиотеки MTPLX.

1 280скачиваний за 30 дней5лайковвеса обновлены17 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для локальной генерации текста на компьютерах Apple Silicon, прежде всего для ускоренного инференса со speculative decoding и Multi-Token Prediction на моделях Mac с чипами M1–M5. Доступен OpenAI-совместимый локальный сервер через MTPLX.

Модель имеет архитектуру Mixture-of-Experts и заявленный размер 35B с активной частью около 3B параметров (35B-A3B). Основное тело использует 4-битное квантование MLX affine, а плавающие тензоры BF16 преобразованы в FP16; упакованные квантованные тензоры сохранены без повторного квантования. Для ускорения применяются MTP-предсказания с рекомендуемой глубиной D1 и профилем sustained. README не указывает поддерживаемые языки, размер контекста и перечень модальностей, поэтому модель следует считать текстовой.

Ключевая особенность варианта — совместимость с FP16-friendly путём на старых Apple Silicon, особенно M1 и M2, при сохранении целевого уровня скорости и качества исходного артефакта. Для M3, M4 и M5 MTPLX обычно выбирает обычную оптимизированную версию. По приведённому baseline скорость составляет 94,46 токена/с для авторегрессионного режима и 138,38 токена/с для режима D1, однако эти показатели являются данными исходного артефакта, а FP16-вариант должен быть к ним близок. Ограничения включают зависимость от MTPLX и Apple Silicon, а также отсутствие полноточного checkpoint: модель рассчитана на быстрое локальное использование, а не на работу в полном формате. Лицензия — Apache-2.0.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.6-35B-A3B MTPLX Optimized Speed FP16

FP16 compatibility sibling for Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Speed, packaged for MTPLX native Multi-Token-Prediction speculative decoding on older Apple Silicon.

This variant keeps the same release model family as Qwen3.6-35B-A3B Optimized Speed. Packed quantized tensors stay packed; BF16 floating tensors are converted to FP16 so M1 and M2 Macs can use the FP16-friendly path without changing the artifact's intended speed/quality tier.

Run It

brew install youssofal/mtplx/mtplx
mtplx start
mtplx run "hello" --model Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Speed-FP16

For an OpenAI-compatible local server:

mtplx serve --model Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Speed-FP16 --profile sustained --max --port 8000 --no-stats-footer

Device Routing

M1/M2 Apple Silicon: MTPLX may prefer this FP16 sibling.
M3/M4/M5 Apple Silicon: MTPLX keeps the normal optimized artifact by default.
Explicit --model always wins.

Recommended Runtime Defaults

Setting	Value
Backend	`qwen3-next-mtp`
Default depth	`D1`
Profile	`sustained`
Precision policy	preserve packed tensors; convert BF16 floats to FP16

Source Performance Baseline

These are the source artifact numbers used as the regression baseline. The FP16 variant should stay close, but it is primarily a device-compatibility release.

Mode	TPS	Verify time	Acceptance
AR baseline	94.46	-	-
D1 promoted default	138.38	69.30s	0.8858
D2 promoted default	135.66	49.23s	0.8701, 0.6409
D3 comparison	107.67	46.45s	0.8291, 0.5414, 0.2783

Model Build

Component	Format
Main body	4-bit MLX affine body with BF16 float leaves converted to FP16
MTP sidecar	same MTP policy as source; BF16 float leaves converted to FP16
Packed quantized tensors	preserved without requantization
Manifest	`MTPLX_FP16_CONVERSION_MANIFEST.json` records tensor-level conversions

This is not a full-precision checkpoint. It is built for fast local use on Apple Silicon through MTPLX.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mtplx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: Qwen3_5MoeForConditionalGeneration
Ревизия весов: f5e001d