Характеристики

Лицензия: Apache 2.0
Базовая модель: gemma-4-12B-it-assistant
Библиотека: gguf
Опубликована: 1 авг 2026

Ссылки

gemma-4-12B-it-assistant-GGUF

Генерация текстаТекст → текст3 профессии

Черновая MTP-модель Gemma 4 12B IT Assistant в формате GGUF BF16 ускоряет генерацию целевой модели Gemma 4 через speculative decoding в llama.cpp.

115скачиваний за 30 дней1лайквеса обновлены1 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это BF16-файл GGUF с черновой MTP-моделью Gemma 4 12B IT Assistant, преобразованный srmiles из официальных весов Google для ускорения генерации в llama.cpp speculative decoding. Модель предлагает несколько следующих токенов, которые затем проверяет целевая Gemma 4 12B; при корректной настройке это повышает пропускную способность генерации без изменения качества итогового вывода. Самостоятельно как обычную чат-модель её не используют: требуется совместимая целевая модель Gemma 4 и llama.cpp версии b10215 или новее с поддержкой draft-mtp.

В README приведён тест на Intel Arc Pro B60: для указанной конфигурации сообщаются скорость декодирования 70,4 токена/с и принятие 69,7% предложенных MTP-токенов. Эти результаты относятся к конкретному оборудованию и сценарию; README подтверждает работу на llama.cpp SYCL b10215+, а совместимость с другими бэкендами заявлена разработчиком. Файл имеет формат GGUF BF16 и распространяется по лицензии Apache-2.0.

Сценарии применения

ускорение генерации текста в llama.cpp
ускорение выдачи структурированного JSON
спекулятивное декодирование с целевой Gemma 4 12B
локальный инференс на совместимом оборудовании Intel Arc

Ограничения

Модель предназначена для работы как черновик вместе с целевой Gemma 4 12B и совместимой версией llama.cpp, а не как самостоятельный генератор. Скорость и доля принимаемых токенов зависят от оборудования, бэкенда и параметров запуска.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma 4 12B-it Assistant (MTP Drafter) — GGUF (BF16)

Correctly-converted BF16 GGUF of Google's official google/gemma-4-12B-it-assistant MTP (Multi-Token Prediction) drafter, for use with llama.cpp speculative decoding.

Pair this drafter with the Gemma 4 12B target model for a substantial decode-throughput uplift with mathematically identical output quality.

Why this GGUF exists

The community GGUFs for Google's Gemma 4 assistants use an architecture string mismatch — gemma4_assistant (underscore) instead of upstream llama.cpp's gemma4-assistant (hyphen) — which makes them fail to load on any modern llama.cpp build.

This GGUF was converted directly from Google's official BF16 safetensors with llama.cpp's own convert_hf_to_gguf.py (b10215 / commit eb41d503b), so every metadata key is correctly namespaced and it loads cleanly on upstream llama.cpp.

Verified working

llama.cpp SYCL b10215+ on Intel Arc Pro B60 (Battlemage / Xe2, 24 GB)
Should work on any llama.cpp backend at b10215 or newer.

Usage (llama.cpp)

llama-server \
  -m gemma-4-12B_q4_0-it.gguf \
  --model-draft gemma-4-12B-it-assistant-official.bf16.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  -ngl 99 -c 8192 -fa on -ub 2048 -b 2048 \
  --jinja --reasoning off \
  --host 0.0.0.0 --port 8000

Benchmark (Intel Arc Pro B60, llama.cpp SYCL b10215)

Measured on real workload (2-5K token prompts, structured JSON output):

Metric	Value
Decode	70.4 tok/s
MTP acceptance rate	69.7%
Prefill @ 2K tokens	1,053 tok/s
VRAM (target + drafter, Q4_0 target + BF16 drafter)	8.5 GiB

Compared to 12B without a drafter: +257% decode, +530% prefill on b10215.

Full bench methodology + comparison to Ornith 9B production model: github.com/srmiles/local-llm-benchmarks.

Conversion recipe (reproducible)

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && git checkout b10215
pip install --index-url https://download.pytorch.org/whl/cpu torch

hf download google/gemma-4-12B-it-assistant --local-dir gemma-4-12B-it-assistant-hf
python convert_hf_to_gguf.py gemma-4-12B-it-assistant-hf/ \
  --outfile gemma-4-12B-it-assistant-official.bf16.gguf \
  --outtype bf16

Files

gemma-4-12B-it-assistant-official.bf16.gguf — 862 MB, BF16

Credits

Model weights: Google — google/gemma-4-12B-it-assistant
MTP research: DeepMind — Gemma 4 MTP documentation
Conversion tool: ggml-org/llama.cpp convert_hf_to_gguf.py at commit eb41d503b (b10215)
Conversion & bench: srmiles/local-llm-benchmarks

License

Apache 2.0.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов: 15f2e03