Характеристики

Контекст: 131 072 токена
Параметры: 545 млн
Лицензия: Apache 2.0
Архитектура: gemma4_vision · dense
Базовая модель: gemma-4-31B-it
Библиотека: transformers
Опубликована: 17 сен 2026

Ссылки

Hugging Face arXiv 2607.02770

Gemma4-31B-Vision

immanuelpeter

Эмбеддинги изображенийИзображение → embedding3 профессии

Выделенный энкодер зрения Gemma 4 31B для извлечения признаковых представлений изображений в мультимодальных системах.

68скачиваний за 30 дней0лайковвеса обновлены17 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Gemma4-31B Vision — это выделенный визуальный энкодер из мультимодальной модели Gemma 4 31B, подготовленный Immanuel Peter на основе весов Google DeepMind. Репозиторий содержит 27-слойную башню зрения с размерностью скрытого состояния 1152, 16 головами внимания, промежуточным размером 4304, патчами 16×16 и пулингом 3×3, а также проектор Linear(1152, 5376) с RMSNorm без обучаемого масштаба. Веса сохранены в BF16 в формате safetensors.

Модель предназначена для извлечения признаковых представлений изображений и может использоваться как визуальная часть мультимодальных систем. README описывает пример извлечения признаков и проверку совпадения весов с исходной моделью. Это не самостоятельная модель для диалога или генерации текста; для её применения может потребоваться интеграция с совместимым кодом модели. Контекст базовой Gemma 4 31B составляет 131072 токена, но это значение относится к родительской модели, а не отдельно к визуальному энкодеру. Лицензия — Apache-2.0.

Сценарии применения

извлечение визуальных признаков из изображений
подготовка эмбеддингов изображений для мультимодальной модели
подключение визуального энкодера к совместимой системе на базе Gemma 4
анализ изображений как этап мультимодального пайплайна

Ограничения

Репозиторий содержит только визуальную башню и проектор, а не полную диалоговую модель; для использования может понадобиться совместимый код интеграции. Параметры контекста относятся к базовой модели и не характеризуют энкодер изображений отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma4-31B Vision

This repository packages the Tower and Projector from Gemma 4 31B.

File	Tensors	What it holds
`model.safetensors`	355	Tower, extracted from `model.vision_tower.*` in `model-00001-of-00002.safetensors`
`projector.safetensors`	1	`Linear(1152, 5376)` weight from `model.embed_vision.*`
`projector_config.json`		Projector shapes
`config.json`		Vision-only `Gemma4VisionModel` (`model_type`: `gemma4_vision`)
`preprocessor_config.json`		Gemma 4 image preprocessing configuration
`projector.py`		Projector loader used by `examples/inference.py`

Architecture

Component	Details
Tower	27 layers, 1152 hidden, 16 heads, 4304 intermediate, patch size 16, 3x3 pooling kernel
Projector	scale-free `RMSNorm(1152)` then `Linear(1152, 5376)` with no bias

The RMSNorm has no learned scale, so the packaged Projector tensor is that one Linear weight.

Usage

See examples/inference.py for image feature extraction.

Validation

The parity script compares the 355 Tower tensors and the Projector Linear with the pinned parent using torch.equal.

Reproduction

The export script reads model.vision_tower.* (355 tensors) and model.embed_vision.* (1 tensor) from model-00001-of-00002.safetensors of google/gemma-4-31B-it. It strips the prefixes and writes the original BF16 tensors.

Credits

Google DeepMind released the Gemma 4 31B weights and the native Transformers implementation. The Gemma team also wrote a technical report that describes the vision encoder in more detail.

License

Apache License 2.0, the same license as the source model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · image-feature-extraction

Можно запустить

Подбираем GPU…

Класс архитектуры: Gemma4VisionModel
Ревизия весов: d44efb4