Характеристики

Лицензия: Apache 2.0
Базовая модель: Qwen3.6-35B-A3B
Библиотека: gguf
Опубликована: 16 апр 2026

Ссылки

Qwen3.6-35B-A3B-GGUF

Изображение и текст → текст15 профессий

Infatoshi/Qwen3.6-35B-A3B-GGUF — это набор GGUF-конверсий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный Infatoshi для запуска в llama.cpp.

1 071скачиваний за 30 дней1лайквеса обновлены16 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации и обработки текста, а также для мультимодальных сценариев с изображениями и видео; для работы с визуальными входными данными требуется отдельный файл vision projector.

Модель использует разреженную MoE-архитектуру: 35 млрд параметров суммарно, около 3 млрд активных параметров, 256 экспертов и один общий эксперт, маршрутизация top-8. В архитектуре сочетаются слои Gated-DeltaNet и Gated-Attention в соотношении 3:1, заявлен нативный контекст до 262 тысяч токенов. Указана поддержка английского, китайского и многоязычного применения. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и BF16 с объёмом файлов от 20 до 65 ГБ.

Сильными сторонами являются существенно сниженное число активных параметров при большом общем размере модели, поддержка длинного контекста и мультимодальный ввод. Вариант Q4_K_M рассчитан на одну видеокарту с 24 ГБ памяти, тогда как более качественные или менее квантованные варианты требуют 32–40 ГБ видеопамяти, частичной выгрузки или CPU. Производительность и требуемые ресурсы зависят от варианта квантования, размера контекста и режима инференса; варианты Q5_K_M, Q8_0 и BF16 не помещаются на одной 24-гигабайтной видеокарте при практически применимом контексте. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.6-35B-A3B-GGUF

GGUF conversions of Qwen/Qwen3.6-35B-A3B for llama.cpp.

Sparse MoE: 35B total / 3B active (256 experts + 1 shared, top-8 routed). Hybrid Gated-DeltaNet + Gated-Attention layers (3:1), 262K native context. Includes vision projector for image/video input.

Files

File	Size	Target HW
`Qwen3.6-35B-A3B-Q4_K_M.gguf`	20 GB	Single 24GB GPU (3090/4090/5090/A5000)
`Qwen3.6-35B-A3B-Q5_K_M.gguf`	23 GB	32GB+ VRAM or partial offload
`Qwen3.6-35B-A3B-Q8_0.gguf`	34 GB	40GB+ VRAM (A6000/A100) or CPU
`Qwen3.6-35B-A3B-BF16.gguf`	65 GB	CPU or multi-GPU
`Qwen3.6-35B-A3B-mmproj-BF16.gguf`	862 MB	Required for vision input

Benchmarks (RTX 3090, bs=1, llama.cpp build b1-94ca829)

Quant	Offload	Prefill	Decode	wikitext-2-raw PPL
Q4_K_M	41/41 GPU	329.7 t/s	153.9 t/s	6.676 ± 0.043
Q5_K_M	36/41 GPU	159.9 t/s	82.9 t/s	—

Q5_K_M / Q8_0 / BF16 do not fit a single 24GB GPU at usable context.

Usage

Text

llama-cli -m Qwen3.6-35B-A3B-Q4_K_M.gguf -ngl 99 -c 8192 -p "Your prompt"

Vision (image/video)

llama-mtmd-cli -m Qwen3.6-35B-A3B-Q4_K_M.gguf \
  --mmproj Qwen3.6-35B-A3B-mmproj-BF16.gguf \
  --image path/to/image.jpg -p "Describe this image"

Notes

Architecture: Qwen3_5MoeForConditionalGeneration (qwen3_5_moe)
Converter: llama.cpp convert_hf_to_gguf.py (built-in support)
At bs=1 decode, the GPU is kernel-launch bound; prefill or batched serving will show higher utilization
For long context (>262K), see base model's YaRN config

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gguf

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: 2288047