shawnw3i/Qwen3.6-27B-AWQ-MTP — квантизированная версия модели Qwen3.6-27B, разработанной командой Qwen.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач генерации текста и работы с изображениями и текстом; в README она классифицирована как image-text-to-text. Вариант ориентирован на запуск через vLLM и ускоренное инференс-развёртывание.
Модель имеет размер 27 млрд параметров и использует квантизацию AWQ. Поддерживаются ядро AWQ Marlin с автоматической конвертацией vLLM во время выполнения и MTP speculative decoding, позволяющее ускорять генерацию за счёт спекулятивного декодирования. Для запуска в README указан максимальный размер контекста 65 536 токенов, а также reasoning parser qwen3. Заявлена производительность более 110 токенов в секунду на одном ускорителе A800 80 GB при использовании vLLM 0.21.0, MTP и FP8 KV cache.
Сильные стороны модели — сочетание относительно крупного размера, AWQ-квантизации, поддержки Marlin и встроенного MTP для эффективного инференса. README не содержит сведений о языках, точных возможностях мультимодального ввода, результатах бенчмарков, требованиях к другим конфигурациям оборудования или ограничениях качества. Модель распространяется по лицензии Apache-2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
vllm serve shawnw3i/Qwen3.6-27B-AWQ-MTP \
--max-model-len 65536 \
--reasoning-parser qwen3 \
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Готовая квантизация поддерживается только для текстовых LLM (vLLM).