Характеристики

Лицензия: Apache 2.0
Базовая модель: Gemma-4-26B-A4B-NVFP4
Опубликована: 7 мая 2026

Ссылки

Hugging Face

Gemma-4-26B-A4B-NVFP4-GGUF

catlilface

Изображение и текст → текст3 профессии

GGUF-версия Gemma 4 26B A4B для диалогов с текстом и изображениями, запускаемая через llama.cpp.

1 229скачиваний за 30 дней11лайковвеса обновлены22 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий catlilface содержит GGUF-представление модели nvidia/Gemma-4-26B-A4B-NVFP4, подготовленное конвертером llama.cpp. В нём доступны варианты NVFP4 и NVFP4_FP8, а также файл проектора для работы со зрением; метаданные указывают на поддержку чата и обработки изображений вместе с текстом.

Модель предназначена для диалоговых сценариев, где нужно анализировать изображения и отвечать на вопросы по ним. Для запуска автор README рекомендует llama.cpp; указан пример серверного режима с контекстом 4000 токенов. Репозиторий распространяется по лицензии Apache-2.0. README называет веса неквантованными относительно исходного GGUF, однако формат и варианты репозитория обозначены как GGUF и NVFP4/FP8; качество предлагается оценивать по карточке NVIDIA.

Сценарии применения

ответы на вопросы по изображению
описание содержимого фотографии
визуальный диалог с пользователем
анализ изображения вместе с текстовым запросом

Ограничения

README не приводит собственных метрик качества и отсылает к карточке NVIDIA; пример запуска задаёт контекст 4000 токенов. Для инференса с CUDA README рекомендует llama.cpp.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma 4 26B A4B NVFP4 GGUF

About

This model is an unmodified GGUF quantization of nvidia/Gemma-4-26B-A4B-NVFP4, made with the llama.cpp conversion tool. Please refer to the official NVIDIA repository for quality metrics. As of now, this repository contains NVFP4 GGUF in two variants: NVFP4 and NVFP4_FP8 of Gemma 4 26B A4B, and a projector file.

Inference

It is recommended to use llamacpp with docker. You can start inferencing this model with the command below:

docker run --rm \
  --runtime nvidia \
  --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e HF_HUB_CACHE=/root/.cache/huggingface/hub \
  -p 8080:8080 \
  ghcr.io/ggml-org/llama.cpp:server-cuda13 \
  -hf catlilface/Gemma-4-26B-A4B-NVFP4-GGUF:NVFP4 \
  -c 4000

Adjust llama.cpp parameters to better fit your hardware.

Acknowledgements

Special thanks to ynankani for his contribution, which made this quantization possible.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: dc98839