Характеристики

Размер весов: 7,8 ГБ
Лицензия: Gemma
Архитектура: gemma4_unified · dense
Базовая модель: gemma-4-12B-it
Опубликована: 7 июн 2026

Ссылки

gemma-4-12B-AWQ

Изображение и текст → текст15 профессий

mattbucci/gemma-4-12B-AWQ — 4-битная AWQ-Marlin-квантизированная версия модели google/gemma-4-12B-it, подготовленная mattbucci.

7 979скачиваний за 30 дней4лайкавеса обновлены7 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это унифицированная безэнкодерная модель Gemma 4 с архитектурой Gemma4UnifiedForConditionalGeneration. Она поддерживает работу с текстом, рассуждениями, инструментами, изображениями и аудио; заявленный нативный контекст составляет около 262 тысяч токенов. Модель использует attention с global-MQA и сочетание скользящего и полного внимания в пропорции 5:1.

Квантизация выполнена в формате int4 W4A16 с размером группы 128. Линейные слои текстового декодера переведены в AWQ int4, тогда как эмбеддеры изображений и аудио, нормализации и связанная с эмбеддингами матрица lm_head сохранены в BF16 для поддержки мультимодальных возможностей. Согласно README, модель демонстрирует результаты 80% на MMLU, 95% на HumanEval, 100% на тесте Needle@long-ctx и 100% на тесте использования инструментов до контекста 256K; также заявлена работоспособность с изображениями и качественное рассуждение. Веса занимают около 5,4 ГБ на ранг при использовании int4.

Модель предназначена для ресурсоэффективного инференса задач генерации и понимания текста, программирования, длинноконтекстного анализа, вызова инструментов, а также обработки изображений и аудио. Для запуска через SGLang требуются back-port-патчи 042–048 из указанного репозитория; на GPU Ampere рекомендуется использовать attention-backend triton и отключить CUDA Graph. Ограничения включают зависимость от специальной версии архитектуры и дополнительных патчей серверного ПО. Модель распространяется на условиях Gemma Terms of Use и является производной от google/gemma-4-12B-it.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gemma-4-12B-it AWQ (int4, W4A16)

In-house AWQ-Marlin (4-bit) quantization of google/gemma-4-12B-it — the encoder-free omni Gemma 4 (Gemma4UnifiedForConditionalGeneration): text + reasoning + tool-use + vision + audio, global-MQA attention, 5:1 sliding:full, ~262K native context.

How it was built

Packed data-free from the QAT base google/gemma-4-12B-it-qat-q4_0-unquantized (Gemma's quantization-aware-trained release). Because QAT already conditions the weights onto a 4-bit grid, a plain RTN re-quantization to AWQ group-128 is near-lossless — no calibration corpus needed:

Text-decoder linears (q/k/v/o_proj, mlp gate/up/down_proj) → AWQ int4, group_size 128.
Vision/audio embedders + all norms + tied lm_head kept BF16 (modality preservation).
Quantization fidelity vs the QAT base: MLP layers cosine 1.0000, attention projections 0.993–0.996.

Quality (2x RTX 3090, SGLang v0.5.12, TP=2)

MMLU	HumanEval	Needle@long-ctx	256K tool-use	Vision	Thinking
80%	95%	100%	100% (→95K)	✓	clean

Weights are 5.4 GB/rank at int4. Identical text quality to the BF16 base at matched context length.

Serving (SGLang)

This is the encoder-free unified Gemma 4 arch (gemma4_unified, a transformers-5.10.dev architecture). Serving on SGLang needs the back-port patches 042–048 from 2x-3090-GA102-300-A1-sglang-inference (loader + vendored config/processor + the hybrid-SWA TP>1 KV-pool routing fix + the processor __call__ image-token expansion). On Ampere (sm_86), use --attention-backend triton (FlashInfer rejects the 512-dim global head) and --disable-cuda-graph.

License

Governed by the Gemma Terms of Use. Derived from google/gemma-4-12B-it.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры: Gemma4UnifiedForConditionalGeneration
Ревизия весов: c4a82ee