Характеристики

Контекст: 262 144 токена
Лицензия: Apache 2.0
Архитектура: qwen3_vl_moe · dense
Базовая модель: Qwen3-VL-30B-A3B-Instruct
Опубликована: 28 окт 2025

Ссылки

Qwen3-VL-30B-A3B-Instruct-NVFP4

Изображение и текст → текст13 профессий

Qwen3-VL-30B-A3B-Instruct-NVFP4 — мультимодальная модель для генерации текста по текстовым и визуальным входным данным, опубликованная пользователем или организацией ig1.

3 870скачиваний за 30 дней10лайковвеса обновлены11 янв 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она основана на Qwen/Qwen3-VL-30B-A3B-Instruct и предназначена для сценариев, где требуется анализ изображений совместно с обработкой естественного языка; README также упоминает поддержку изображений и видео, однако конкретные языки и полный набор мультимодальных возможностей не указаны.

Модель использует архитектуру Qwen3-VL с mixture-of-experts; обозначение 30B-A3B указывает на 30 млрд параметров в общей модели и около 3 млрд активных параметров на токен. Она подвергнута NVFP4-квантизации с использованием llm-compressor и предназначена для запуска через vLLM с поддержкой OpenAI-совместимого сервера, автоматического выбора инструментов и parser hermes. Для видеокарт RTX 5090 README рекомендует ограничивать контекст примерно 56K токенами, использовать не более трёх изображений и отключать видео из-за ограничений памяти; точный максимальный контекст модели не указан.

К сильным сторонам относятся сниженные требования к памяти благодаря NVFP4-квантизации и возможность быстрого инференса на совместимом оборудовании. Ограничения включают возможную потерю качества из-за квантизации, зависимость от совместимой версии vLLM и необходимость уменьшать контекст или число мультимодальных входов на видеокартах с ограниченной памятью. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3-VL-30B-A3B-Instruct-NVFP4

NVFP4 quantization using llm-compressor v0.8.2.dev28+g0f346cf7 (and transformers v4.57.1) based the officiel NVFP4 example script for Qwen3-VL-235B-A22B-Instruct.

Dataset adjustments

Model ID has been obviously changed from Qwen/Qwen3-VL-235B-A22B-Instruct to Qwen/Qwen3-VL-30B-A3B-Instruct
Increased the number of sample from 20 to 512

vLLM execution

As of v0.13.0, special execution configuration is not needed anymore. You can simply launch it this way:

docker run -ti --name Qwen3-VL-30B-A3B-NVFP4-v0.13.0 --gpus all -v '/srv/mountpoint_with_freespace/cache:/root/.cache' -p 8000:8000 "vllm/vllm-openai:v0.13.0" "ig1/Qwen3-VL-30B-A3B-Instruct-NVFP4" --served-model-name Qwen3-VL-30B-A3B --async-scheduling --enable-auto-tool-choice --tool-call-parser hermes

The v0.13.0 is fixed because it has been tested on our side, feel free to try with newer version of vLLM when they came out.

A note for 5090 owners

While you can execute the model on this card, you will have to limit its context as it will not complete fit the card. It is especially true if you run it under WSL as you need to keep some space for the host OS.

Example for Windows/WSL:

docker run -ti --name Qwen3-VL-30B-A3B-NVFP4-v0.13.0 --gpus all -v 'E:\cache:/root/.cache' -p 8000:8000 "vllm/vllm-openai:v0.13.0" "ig1/Qwen3-VL-30B-A3B-Instruct-NVFP4" --served-model-name Qwen3-VL-30B-A3B --gpu-memory-utilization 0.8 --async-scheduling --enable-auto-tool-choice --tool-call-parser hermes --max-model-len 56K --limit-mm-per-prompt.image 3 --limit-mm-per-prompt.video 0

Execute the powershell command after reviewing it.

a. Adjust E:\cache to a folder of your linking. It will contains the huggingface download cache folder but also vLLM cache folder (mostly for torch compilation) but also a bunch of others folders you want to keep between different starts.

b. gpu-memory-utilization and max-model-len have been adjusted to the 32GiB limit of the RTX 5090 and the fact that the host system still need a piece of it.

c. limit-mm-per-prompt has been adjusted to match the model len limitation (max 3 images and 0 videos)

Once the service has successfully started, CTRL-C the execution to stop the container. You can close the poweshell terminal, it was necessary only to set the container start flags.
Now open Docker Desktop and simply press the start button of the Qwen3-VL-30B-A3B-NVFP4 container. You can now simply manage it using the UI when you need it.
Enjoy fast NVFP4 inference !

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры: Qwen3VLMoeForConditionalGeneration
Ревизия весов: 3c6162d