/ Модель

Характеристики

Контекст
262 144 токена
Лицензия
Apache 2.0
Архитектура
qwen3_5_moe · dense
Базовая модель
Qwen3.5-35B-A3B
Библиотека
transformers
Опубликована
26 фев 2026

Qwen3.5-35B-A3B-quantized.w4a16

Изображение и текст → текст15 профессий

Qwen3.5-35B-A3B-quantized.w4a16 — это квантованная мультимодальная языковая модель на базе Qwen/Qwen3.5-35B-A3B, опубликованная пользователем apolo13x.

2 269скачиваний за 30 дней2лайкавеса обновлены27 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Базовая модель разработана командой Qwen. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа изображений, ответов на вопросы и других задач преобразования мультимодального ввода в текст.

Модель использует архитектуру Qwen3.5 с разреженной MoE-конфигурацией 35B-A3B, где общий размер составляет около 35 млрд параметров, а активируется примерно 3 млрд параметров. Веса квантованы до INT4 в формате GPTQ с конфигурацией W4A16 с использованием llm-compressor. Это уменьшает размер модели с 67,0 до 20,4 ГБ, примерно в 3,3 раза, при среднем восстановлении точности 99,5% относительно исходной модели. В указанных тестах модель показала 81,31% на GPQA Diamond, 94,60% на IFEval и 91,95% на MMLU-Redux.

Сильной стороной модели является существенное снижение требований к хранению и инференсу при сохранении близкой к исходной точности. Ограничения связаны с потерями, возможными при 4-битном квантовании, а также с тем, что на 27 февраля 2026 года модель поддерживалась в nightly-версии vLLM, что может означать менее стабильную совместимость по сравнению со стабильными релизами. Сведения о размере контекстного окна и поддерживаемых языках в README не указаны. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.5-35B-A3B-quantized.w4a16

This is a quantized version of Qwen/Qwen3.5-35B-A3B. This model accepts text and images as inputs and generates text as outputs. The weights were quantized to INT4 using GPTQ via llm-compressor, reducing the model size from 67.0 GB to 20.4 GB (~3.3x reduction) while maintaining 99.5% average accuracy recovery.


Inference

As of 2/27/2026, this model is supported in vLLM nightly. To serve the model:

vllm serve Kbenkhaled/Qwen3.5-35B-A3B-quantized.w4a16 \
    --reasoning-parser qwen3 \
    --enable-prefix-caching

Evaluation

Evaluated with lm-evaluation-harness, 0-shot, thinking mode ON.

BenchmarkQwen3.5-35B-A3BQwen3.5-35B-A3B-quantized.w4a16 (this model)Recovery
GPQA Diamond81.31%81.31%100%
IFEval95.56%94.60%99.0%
MMLU-Redux92.51%91.95%99.4%
Average89.79%89.29%99.5%

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры
Qwen3_5MoeForConditionalGeneration
Ревизия весов
4cfcc46

0 моделей