Характеристики

Контекст: 262 144 токена
Размер весов: 5 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5 · dense
Базовая модель: Qwen3.5-9B
Библиотека: mlx
Опубликована: 15 июл 2026

Ссылки

Qwen3.5-9B-MLX-4bit

Генерация текстаТекст → текст15 профессий

AtomicChat/Qwen3.5-9B-MLX-4bit — 4-битная MLX-квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная компанией Atomic Chat на основе оригинальных весов с использованием матрицы важности для повышения близости к полноточной модели.

856скачиваний за 30 дней0лайковвеса обновлены22 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для локального и полностью офлайн-использования на устройствах Apple Silicon через MLX и поддерживает генерацию текста, а также работу с изображениями. Она может применяться для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания.

Модель содержит около 9,7 млрд параметров, имеет 32 слоя, контекст до 262 144 токенов, словарь размером 248 320 токенов и архитектуру Qwen3_5ForConditionalGeneration с 16 attention heads и 4 KV heads. В README она описана как мультимодальная модель с ранним объединением текстовых и визуальных токенов; также заявлена эффективная гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts, хотя в сводных характеристиках указана dense decoder. Квантизация уменьшает требования к памяти и ускоряет локальный инференс, но может приводить к некоторой потере качества относительно полноточной версии. Языки явно не перечислены. Модель распространяется под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.5 9B, self-quantized to MLX by Atomic Chat. Built straight from Qwen's original weights with a per-tensor importance matrix, so this is not a repack of somebody else's files. Runs fully offline.

Highlights

9.7B parameters: the weights this repo quantizes.
Context length: 262,144 tokens (256K), as published by Qwen.
32 layers: Dense decoder.
Modalities: Text, Image.
Full imatrix ladder: every quant is calibrated with an importance matrix.
Unified Vision-Language Foundation: Early fusion training on multimodal tokens achieves cross-generational parity with Qwen3 and outperforms Qwen3-VL models across reasoning, coding, agents, and visual understanding benchmarks.
Efficient Hybrid Architecture: Gated Delta Networks combined with sparse Mixture-of-Experts deliver high-throughput inference with minimal latency and cost overhead.

[!NOTE] These MLXs are self-quantized from the original weights, not a repack. The importance matrix keeps low-bit quants closer to the full-precision model.

Model Overview

Property	Value
Base model	`Qwen/Qwen3.5-9B`
Parameters	9.7B
Layers	32
Context length	262,144 tokens (256K)
Vocabulary	248,320
Modalities	Text, Image
Architecture	Dense decoder, 16 attention heads over 4 KV heads, `Qwen3_5ForConditionalGeneration`
This repo	MLX weights

Get started

Atomic Chat: search AtomicChat/Qwen3.5-9B-MLX-4bit and hit Use this model.
mlx-lm: mlx_lm.generate --model AtomicChat/Qwen3.5-9B-MLX-4bit --prompt "Hello" --max-tokens 512
Server: mlx_lm.server --model AtomicChat/Qwen3.5-9B-MLX-4bit --port 8080

Best practices

Parameter	Value
temperature	1.0
top_p	0.95
top_k	20
min_p	0.0
repetition_penalty	1.0

Qwen's recommended sampling configuration for Qwen/Qwen3.5-9B.

How these were made

Download Qwen/Qwen3.5-9B (original weights).
Convert and quantize with mlx_lm.convert on our pipeline.

License

Original model by Qwen, released under the Apache 2.0 license. Full terms: Apache 2.0. Quantized by Atomic Chat.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: Qwen3_5ForConditionalGeneration
Ревизия весов: 458dedc