Характеристики

Контекст: 262 144 токена
Размер весов: 12,4 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5 · dense
Базовая модель: Qwen3.5-9B
Библиотека: transformers
Опубликована: 3 мар 2026

Ссылки

Qwen3.5-9B-NVFP4

Изображение и текст → текст15 профессий

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen и опубликованной в репозитории apolo13x.

851скачиваний за 30 дней1лайквеса обновлены11 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это мультимодальная модель формата image-text-to-text: она принимает текст и изображения, а генерирует текстовые ответы. Модель предназначена для диалоговых сценариев, анализа изображений и решения текстовых задач.

Веса и активации сжаты до формата NVFP4 (4-bit) с помощью llm-compressor. Для калибровки использовано 512 образцов из набора nvidia/Nemotron-Post-Training-Dataset-v2, включая 256 примеров с рассуждением и 256 без него. Размер модели уменьшен с 18,0 до 11,5 ГБ, примерно в 1,6 раза; заявленное среднее восстановление точности составляет 97,3%. Максимальная длина последовательности при калибровке — 4096 токенов.

По результатам оценки в режиме рассуждений модель набрала в среднем 86,11% против 88,36% у исходной Qwen3.5-9B: 74,24% на GPQA Diamond, 92,69% на IFEval и 91,39% на MMLU-Redux. Квантизация снижает требования к хранению и инференсу, но может приводить к некоторой потере качества относительно исходной модели. Указана поддержка vLLM 0.17.0 и reasoning parser qwen3. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.5-9B-NVFP4

This is a quantized version of Qwen/Qwen3.5-9B. This model accepts text and images as inputs and generates text as outputs. The weights and activations were quantized to FP4 using llm-compressor with 512 calibration samples from nvidia/Nemotron-Post-Training-Dataset-v2, reducing the model size from 18.0 GB to 11.5 GB (~1.6x reduction) while maintaining 97.3% average accuracy recovery.

Quantization Details

Scheme: NVFP4
Calibration: 512 samples (256 reasoning-on + 256 reasoning-off) from Nemotron-Post-Training-Dataset-v2
Max sequence length: 4096

Inference

This model is supported in vLLM 0.17.0. To serve the model:

vllm serve Kbenkhaled/Qwen3.5-9B-NVFP4 \
    --reasoning-parser qwen3 \
    --enable-prefix-caching

Evaluation

Evaluated with lm-evaluation-harness, 0-shot, thinking mode ON.

Benchmark	Qwen3.5-9B	Qwen3.5-9B-NVFP4 (this model)	Recovery
GPQA Diamond	78.79%	74.24%	94.2%
IFEval	94.48%	92.69%	98.1%
MMLU-Redux	91.80%	91.39%	99.6%
Average	88.36%	86.11%	97.3%

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры: Qwen3_5ForConditionalGeneration
Ревизия весов: 83fa190