Характеристики

Контекст: 262 144 токена
Размер весов: 19,2 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5 · dense
Базовая модель: Qwen3.8-27B
Библиотека: transformers
Опубликована: 14 авг 2026

Ссылки

Qwen3.8-27B-AWQ-MTP

Изображение и текст → текст11 профессий

shawnw3i/Qwen3.8-27B-AWQ-MTP — это квантованная AWQ-версия модели Qwen3.8-27B, опубликованная пользователем shawnw3i и основанная на базовой модели Qwen/Qwen3.8-27B.

52 790скачиваний за 30 дней11лайковвеса обновлены28 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста с поддержкой визуальных входных данных, а также для ускоренного инференса в vLLM.

Модель использует AWQ-квантизацию и поддерживает ядро AWQ Marlin, которое vLLM автоматически конвертирует во время работы. Также предусмотрено MTP speculative decoding с тремя спекулятивными токенами. В README заявлена производительность свыше 110 токенов в секунду на одном A800 80GB при использовании vLLM 0.27.1, MTP и FP8 KV cache. Рекомендуемая максимальная длина контекста — 65 536 токенов. Поддерживаются текстовые и визуальные входные данные; сведения о языках не указаны.

К сильным сторонам относятся поддержка vision-сценариев, совместимость с AWQ Marlin и встроенное ускорение генерации посредством MTP. Ограничения включают зависимость от совместимой конфигурации vLLM и GPU, а также возможные потери точности из-за квантизации; для предотвращения деградации точности размер группы был уменьшен до 64. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

shawnw3i/Qwen3.8-27B-AWQ-MTP

Highlights

AWQ Marlin kernel supported (auto-converted by vLLM at runtime)
MTP speculative decoding supported out of the box
110+ tok/s on a single A800 80GB (vLLM 0.27.1, MTP enabled, fp8 KV cache)
Vision inputs supported.

Update

09-27-2026 Because Qwen3.8 utilizes non-traditional attention, the group size was reduced to 64 to prevent precision collapse.

vLLM

vllm serve shawnw3i/Qwen3.8-27B-AWQ-MTP \
  --max-model-len 65536 \
  --reasoning-parser qwen3 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры: Qwen3_5ForConditionalGeneration
Ревизия весов: af84ca3