shawnw3i/Qwen3.8-27B-GPTQ-INT8-MTP — квантизированная версия модели Qwen/Qwen3.8-27B, опубликованная пользователем shawnw3i.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и обработки изображений в сценариях, поддерживающих формат image-text-to-text, а также для ускоренного инференса через vLLM.
Модель использует квантизацию GPTQ с точностью INT8, поддерживает ядро GPTQ Marlin и MTP speculative decoding с несколькими спекулятивными токенами. Заявлена поддержка визуальных входных данных и контекста до 65 536 токенов при соответствующей настройке. В README указана производительность свыше 80 токенов в секунду на одном A800 80GB при использовании vLLM, MTP и FP8 KV-кэша.
Сильными сторонами модели являются сниженное потребление памяти благодаря квантизации, совместимость с оптимизированным инференсом vLLM, поддержка визуальных данных и ускоренное декодирование. Ограничения включают зависимость производительности от оборудования и конфигурации инференса, а также отсутствие в представленном README подробных сведений о поддерживаемых языках, точных характеристиках архитектуры и качестве на отдельных задачах. Модель распространяется по лицензии Apache-2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
vllm serve shawnw3i/Qwen3.8-27B-GPTQ-INT8-MTP \
--max-model-len 65536 \
--reasoning-parser qwen3 \
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Готовая квантизация поддерживается только для текстовых LLM (vLLM).