/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
ZDTaichu5.0-9B
Библиотека
gguf
Опубликована
16 сен 2026

Ссылки

Hugging Face

ZDTaichu5.0-9B-DSpark-GGUF

abenzerps
Генерация текстаТекст → текст3 профессии

ZDTaichu5.0-9B-DSpark-GGUF — это GGUF-версия вспомогательной draft-модели ZDTaichu5.0-9B-DSpark, разработанной командой Zi Dong Tai Chu и преобразованной с использованием llama.cpp.

1 575скачиваний за 30 дней1лайквеса обновлены16 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена не для самостоятельной генерации текста, а для speculative decoding: она работает в паре с основной моделью ZDTaichu5.0-9B и может ускорять генерацию. Поддерживаются английский и китайский языки; заявлены сценарии текстовой генерации, агентских задач и мультимодального понимания изображений при использовании совместимого vision-проектора.

Архитектура использует полуаautoregressive DSpark с backbone DFlash и связанной Markov head, извлекает вспомогательные скрытые состояния из слоёв 1, 8, 15, 22 и 29 и предлагает по 8 токенов за один проход. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и Q4_0 размером примерно от 1,51 до 4,40 ГБ. Контекст может быть увеличен до 131 072 токенов при наличии достаточного объёма памяти. Сильная сторона модели — потенциальное ускорение инференса основной модели; заявленный прирост до 60–85% относится к описанию разработчиков и не является независимым измерением этой конверсии. Главные ограничения — обязательная совместная работа с целевой моделью и llama.cpp с поддержкой DSpark, а также необходимость отдельного vision-проектора для изображений. Распространяется по лицензии Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022моделиII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🤗 Model Requests

ZDTaichu5.0-9B DSpark GGUF

GGUF files for ZDTaichu5.0-9B-DSpark, the official semi-autoregressive speculative decoding draft model developed by the Zi Dong Tai Chu team to accelerate ZDTaichu5.0-9B.

[!NOTE] This is a speculative decoding draft model (D-Spark / DFlash), not a standalone general model. It must be paired with the primary ZDTaichu5.0-9B GGUF model during inference to increase generation speeds by up to 60–85%.

Benchmarks

ZDTaichu5.0-9B benchmark results

Benchmark results reported by TaichuAI for the original ZDTaichu5.0-9B foundation model. These figures are not measurements of this GGUF conversion.

GGUF files

QuantizationDSpark Draft FileDraft SizePaired Base Model File
BF16ZDTaichu5.0-9B-DSpark-BF16.gguf4.40 GBTaichuAI/ZDTaichu5.0-9B (Original Weights)
Q8_0ZDTaichu5.0-9B-DSpark-Q8_0.gguf2.34 GBZDTaichu5.0-9B-Q8_0.gguf (9.53 GB)
Q6_KZDTaichu5.0-9B-DSpark-Q6_K.gguf1.81 GBZDTaichu5.0-9B-Q6_K.gguf (7.36 GB)
Q5_K_MZDTaichu5.0-9B-DSpark-Q5_K_M.gguf1.67 GBZDTaichu5.0-9B-Q5_K_M.gguf (6.47 GB)
Q4_K_MZDTaichu5.0-9B-DSpark-Q4_K_M.gguf1.53 GBZDTaichu5.0-9B-Q4_K_M.gguf (5.63 GB)
Q4_0ZDTaichu5.0-9B-DSpark-Q4_0.gguf1.51 GBZDTaichu5.0-9B-Q4_0.gguf (5.31 GB)

Draft model architecture

  • Framework: DSpark (semi-autoregressive DFlash backbone + chained Markov head).
  • Target Layers: Extracts auxiliary hidden states from target layers [1, 8, 15, 22, 29].
  • Block Size: 8 tokens drafted per forward pass (dflash.block_size = 8).
  • Target Model: ZDTaichu5.0-9B GGUF.

Usage

Use this draft model alongside the primary target model abenzerps/ZDTaichu5.0-9B-GGUF with llama.cpp (llama-cli or llama-server):

Text generation with Speculative Decoding (llama-cli)

llama-cli \
  -m ZDTaichu5.0-9B-Q4_K_M.gguf \
  -md ZDTaichu5.0-9B-DSpark-Q4_K_M.gguf \
  --spec-type draft-dspark \
  --spec-draft-n-max 8 \
  -c 8192 --jinja \
  --temp 0.7 --top-p 0.95 \
  -p "Explain why reproducible builds matter."

Multimodal vision understanding with Speculative Decoding (llama-cli)

llama-cli \
  -m ZDTaichu5.0-9B-Q4_K_M.gguf \
  -md ZDTaichu5.0-9B-DSpark-Q4_K_M.gguf \
  --mmproj mmproj-ZDTaichu5.0-9B-BF16.gguf \
  --spec-type draft-dspark \
  --spec-draft-n-max 8 \
  --image path/to/image.jpg \
  -p "Describe what is shown in this image in detail."

OpenAI-compatible server with Speculative Decoding (llama-server)

llama-server \
  -m ZDTaichu5.0-9B-Q4_K_M.gguf \
  -md ZDTaichu5.0-9B-DSpark-Q4_K_M.gguf \
  --mmproj mmproj-ZDTaichu5.0-9B-BF16.gguf \
  --spec-type draft-dspark \
  --spec-draft-n-max 8 \
  -c 8192 --jinja -fa on --host 0.0.0.0 --port 8080

Increase context -c up to 131,072 tokens (128K) when sufficient memory is available.

Source and build

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
258557e

0 моделей

    Создать бенчмарк