Характеристики

Контекст: 262 144 токена
Лицензия: Apache 2.0
Архитектура: qwen3_5 · dense
Базовая модель: Qwen3.5-27B
Библиотека: transformers
Опубликована: 26 фев 2026

Ссылки

Qwen3.5-27B-NVFP4

Изображение и текст → текст15 профессий

Qwen3.5-27B-NVFP4 — квантованная версия модели Qwen/Qwen3.5-27B, опубликованная apolo13x. Это мультимодальная модель типа image-text-to-text: принимает текст и изображения, а генерирует текстовые ответы.

10 459скачиваний за 30 дней38лайковвеса обновлены27 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для диалоговых сценариев, анализа изображений и решения общих задач обработки текста и мультимодального понимания.

Весы и активации модели преобразованы в формат FP4 с использованием llm-compressor и 512 калибровочных образцов из набора neuralmagic/calibration. Квантование уменьшает размер модели с 51,8 до 18,4 ГБ, примерно в 2,8 раза, при заявленном среднем восстановлении точности 99,1% относительно исходной Qwen3.5-27B. Модель поддерживает режим рассуждений и предназначена для запуска, в частности, через nightly-версии vLLM.

По результатам оценки в режиме zero-shot с включённым рассуждением модель получила 79,29% на GPQA Diamond, 93,88% на IFEval и 94,32% на MMLU-Redux; средний результат составил 89,16% против 89,76% у исходной модели. Сильными сторонами являются существенное снижение требований к дисковому пространству и сохранение близкой к исходной точности. Ограничения включают возможные потери качества из-за квантования и зависимость поддержки от актуальных сборок vLLM. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.5-27B-NVFP4

This is a quantized version of Qwen/Qwen3.5-27B. This model accepts text and images as inputs and generates text as outputs. The weights and activations were quantized to FP4 using llm-compressor with 512 calibration samples from neuralmagic/calibration, reducing the model size from 51.8 GB to 18.4 GB (~2.8x reduction) while maintaining 99.1% average accuracy recovery.

Inference

As of 2/27/2026, this model is supported in vLLM nightly. To serve the model:

vllm serve Kbenkhaled/Qwen3.5-27B-NVFP4 \
    --reasoning-parser qwen3 \
    --enable-prefix-caching

Evaluation

Evaluated with lm-evaluation-harness, 0-shot, thinking mode ON.

Benchmark	Qwen3.5-27B	Qwen3.5-27B-NVFP4 (this model)	Recovery
GPQA Diamond	80.30%	79.29%	98.7%
IFEval	95.08%	93.88%	98.7%
MMLU-Redux	93.90%	94.32%	100.4%
Average	89.76%	89.16%	99.1%

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры: Qwen3_5ForConditionalGeneration
Ревизия весов: f48cfc8