Характеристики

Лицензия: Apache 2.0
Базовая модель: Qwen3.8-27B-DFlash2
Опубликована: 20 авг 2026

Ссылки

Qwen3.8-27B-DFlash2-Q2_K-GGUF

Генерация текстаТекст → текст3 профессии

Qwen3.8-27B-DFlash2-Q2_K-GGUF — это 2-битная квантизованная версия модели z-lab/Qwen3.8-27B-DFlash2, опубликованная пользователем analogalok в формате GGUF.

1 337скачиваний за 30 дней15лайковвеса обновлены20 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель представляет собой DFlash 2 — cross-layer block-diffusion drafter, предназначенный не для самостоятельной генерации текста, а для speculative decoding совместно с плотными моделями Qwen3.8-27B через llama.cpp.

Основной сценарий использования — ускорение декодирования больших моделей на потребительских видеокартах с 24 ГБ VRAM, в частности NVIDIA GeForce RTX 4090 и RTX 3090, без выгрузки в системную память. Размер файла составляет около 700 МБ. По данным README, дра́фтер извлекает скрытые состояния из слоёв 6, 20, 34, 48 и 62 базовой модели. В тесте с Qwen3.8-27B-UD-Q4_K_XL на RTX 4090 средняя длина принятых черновых последовательностей составила 2,81 из 3 токенов, коэффициент принятия — 60,22%, а скорость декодирования — 75,93 токена в секунду.

Ключевое преимущество Q2_K — экономия примерно 400–450 МБ VRAM по сравнению с официальной квантизацией Q4_K_M при заявленном отсутствии ухудшения точности speculative decoding. Это позволяет увеличить максимально доступный контекст примерно со 150 000 до 170 000 токенов при Q4_0 KV и использовать до 100 000 токенов при Q8_0 KV. Ограничение модели состоит в том, что она не является самостоятельной causal language model и требует совместимого target-моделя Qwen3.8-27B и версии llama.cpp с поддержкой PR #27342. Лицензия — Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-DFlash2-Q2_K (2-Bit Zero-Loss Speculative Drafter)

This repository provides the Q2_K (2-bit) quantization of z-lab/Qwen3.8-27B-DFlash2 (~700 MB on disk).

It is engineered specifically for 24GB consumer GPUs (NVIDIA GeForce RTX 4090 / RTX 3090) to run speculative decoding alongside Qwen3.8-27B dense models without spilling into system RAM.

🚀 Benchmark Discovery: Zero Quality Loss at 2-Bit

By quantizing the DFlash 2 block-diffusion drafter down from the official Q4_K_M (~1.1 GB) to Q2_K (~700 MB), we save ~400–450 MB of VRAM with zero degradation in speculative draft accuracy.

Strict A/B Performance on Single RTX 4090 (24GB VRAM):

Evaluated on Qwen3.8-27B-UD-Q4_K_XL using llama-server (PR #27342) with --spec-draft-n-max 3 across a 28k prompt baseline.

Drafter Quant	File Size	Mean Accepted Length	Acceptance Rate	Decode Speed	Max Usable Context (24GB VRAM)
Official Q4_K_M	~1.10 GB	2.80 / 3.0 tokens	60.00%	75.89 t/s	150,000 tokens (Q4 KV)
Custom Q2_K (This Repo)	~700 MB	2.81 / 3.0 tokens	60.22%	75.93 t/s	170,000 tokens (+20k)

Key Takeaways:

Identical Acceptance Rate: The target 27B model accepts 2.81 out of 3.0 drafted tokens on average $(93.7% \text{ theoretical efficiency})$, matching the 4-bit drafter identically.
Context Expansion: The ~400 MB saved VRAM directly unlocks:
- 170,000 Context on Q4_0 KV (~76 t/s @ 23.89 GB)
- 100,000 Context on high-precision Q8_0 KV (~75 t/s @ 23.88 GB)

⚙️ Why Q2_K is the True Physical Floor for DFlash 2

DFlash 2 is a cross-layer block-diffusion drafter that extracts hidden states from layers [6, 20, 34, 48, 62] of the base model. Because it is not a standalone causal LM, standalone llama-imatrix calibration fails (dflash requires ctx_other to be set).

This means importance-matrix quants (IQ1_S, IQ2_XXS) cannot be computed, making Q2_K the absolute lowest non-degrading quantization floor for DFlash 2.

🛠️ Quickstart with `llama.cpp`

Requires llama.cpp built from PR #27342.

1. Build `llama.cpp`:

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git fetch origin pull/27342/head:pr-27342
git switch pr-27342

# Build with CUDA
cmake -B build -DGGML_CUDA=ON && cmake --build build -j

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: d0682a2