/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
15,8 ГБ
Архитектура
qwen3_5 · dense
Базовая модель
Qwen3.8-27B-absolute-heresy
Библиотека
transformers
Опубликована
25 авг 2026

Qwen3.8-27B-absolute-heresy-W4A16

Изображение и текст → текст12 профессий

Starw1/Qwen3.8-27B-absolute-heresy-W4A16 — 4-битная версия модели MuXodious/Qwen3.8-27B-absolute-heresy, подготовленная для инференса с использованием Transformers и vLLM.

255скачиваний за 30 дней0лайковвеса обновлены21 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана как мультимодальная система для работы с текстом и изображениями; исходная модель относится к классу примерно 27-миллиардных параметров, а логический размер квантованной версии составляет около 28 млрд параметров.

Модель использует квантизацию весов W4A16: 4-битные целочисленные веса и активации в формате 16-bit. Квантизация выполнена методом AutoRound с симметричной схемой, group_size=128 и упаковкой pack-quantized в формате compressed-tensors. Зрительная башня оставлена в формате bf16, чтобы сохранить возможности анализа изображений. Размер модели на диске составляет около 15,79 ГБ, а занимаемый объём весов в VRAM — примерно 14,71 ГиБ, что ориентирует её на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. README также указывает поддержку MTP-весов для speculative decoding и контекст до 140 000 токенов при соответствующей конфигурации vLLM.

Основные сценарии применения — генерация и анализ текста, а также обработка запросов с изображениями в локальной или серверной среде. К преимуществам относятся сниженные требования к памяти и сохранение визуального компонента в bf16; ограничения связаны с использованием квантованной версии, зависимостью от совместимой инфраструктуры vLLM и отсутствием в README подробностей об архитектуре, языках, обучении и фактическом качестве модели. Лицензия в карточке этой квантованной версии не указана; за условия использования необходимо обращаться к карточке исходной модели.

Для каких профессий подходит12

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B W4A16 (AutoRound)

A 4-bit weight-only quant of MuXodious/Qwen3.8-27B-absolute-heresy, packed in the compressed-tensors format and tuned for single-GPU inference on a 24 GB card (RTX 3090).

  • Parameters: ~28 B (27.99 B logical; base model is 27B-class)
  • On disk: 15.79 GB (14.71 GiB)
  • Weights in VRAM: ~14.71 GiB — leaving room for the KV cache, activations, and CUDA graphs on a 24 GB card

Quantized with the script in syv-ai/qwen38-27b-rtx3090 → single-user.

Quantization

  • Scheme: W4A16 — 4-bit integer weights, 16-bit activations
  • Method: AutoRound, symmetric, group_size=128, pack-quantized
  • Format: compressed-tensors (quant_method: compressed-tensors)
  • Vision tower: left in bf16 (visual blocks are in the quant ignore list), so image understanding is preserved

Serving with vLLM

This is a multimodal (text + image) model. It also ships MTP draft weights, so you can run multi-token prediction for speculative decoding.

Quick start

vllm serve Starw1/Qwen3.8-27B-absolute-heresy-W4A16 \
  --gpu-memory-utilization 0.97 \
  --max-model-len 140000 \
  --kv-cache-dtype fp8 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":5}' \
  --limit-mm-per-prompt '{"image":4,"video":0}'

Links

Quantized weights only — see the source model card for architecture, training, and license details.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры
Qwen3_5ForConditionalGeneration
Ревизия весов
7525b84

0 моделей