Характеристики

Размер весов: 10,5 ГБ
Архитектура: gemma4 · dense
Базовая модель: gemma-4-E4B-it
Библиотека: transformers
Опубликована: 24 апр 2026

Ссылки

Hugging Face

gemma-4-E4B-it-AWQ-4bit

Chunity

Изображение и текст → текст8 профессий

Chunity/gemma-4-E4B-it-AWQ-4bit — мультимодальная 4-битная версия модели google/gemma-4-E4B-it, подготовленная Chunity.

1 619скачиваний за 30 дней5лайковвеса обновлены24 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это checkpoint для Transformers с поддержкой обработки текста, изображений и аудио; точный набор языков, размер контекста и полное число параметров в README не указаны. Модель предназначена для мультимодальных сценариев генерации ответов, а также для задач, поддерживаемых исходной instruction-tuned моделью Gemma 4 E4B IT.

Квантование выполнено методом AutoRound с последующим форматом AWQ: языковые слои model.language_model.layers преобразованы в 4-битный формат с group size 128 и 500 итерациями калибровки. vision_tower, audio_tower, embed_vision, embed_audio и lm_head сохранены в более высокой точности, поэтому checkpoint имеет смешанную FP/AWQ-структуру. Приблизительный размер на диске — 9,9 ГБ. По README, модель прошла базовую проверку загрузки через Transformers AWQ loader и генерации ответа на простейший текстовый запрос.

Для использования рекомендуется AutoModelForCausalLM и AutoProcessor из библиотеки Transformers с автоматическим выбором типа данных. Сильной стороной является снижение требований к памяти по сравнению с полноточной моделью при сохранении мультимодальных компонентов. Ограничения включают отсутствие подробных данных о качестве, языках и контексте, а также зависимость совместимости от поддержки параметра modules_to_not_convert в конфигурации квантования. Условия лицензирования в README не указаны.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma 4 E4B IT AutoRound AWQ 4-bit

This repository contains an AutoRound AWQ 4-bit quantization of google/gemma-4-E4B-it.

Quantization summary

Method: AutoRound -> AWQ
Bit-width: 4-bit
Group size: 128
Iterations: 500
Quantized block: model.language_model.layers
Preserved in higher precision: vision_tower, audio_tower, embed_vision, embed_audio, lm_head

Validation

This checkpoint was smoke-tested with the Transformers AWQ loader and generated the expected response to a simple text prompt.

Loader note

Use the Transformers AWQ loader. The working path that was validated is:

from transformers import AutoModelForCausalLM, AutoProcessor

model = AutoModelForCausalLM.from_pretrained(
    "Chunity/gemma-4-E4B-it-AWQ-4bit",
    dtype="auto",
    low_cpu_mem_usage=False,
)
processor = AutoProcessor.from_pretrained("Chunity/gemma-4-E4B-it-AWQ-4bit")

Size

Approximate on-disk size: 9.9G

Caveat

This is a mixed FP/AWQ multimodal checkpoint. Runtime compatibility depends on loader support for modules_to_not_convert in the quantization config.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры: Gemma4ForConditionalGeneration
Ревизия весов: cae66df