/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
gemma4 · dense
Базовая модель
gemma-4-E2B-it
Библиотека
transformers
Опубликована
11 июн 2026

Gemma4-BLIP3o-Captioner-5B

Изображение и текст → текст4 профессии

Gemma4-BLIP3o-Captioner-5B — экспериментальная мультимодальная модель для генерации подробных описаний изображений, разработанная prithivMLmods на основе Google Gemma-4-E2B-it.

671скачиваний за 30 дней3лайкавеса обновлены12 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель дообучена примерно на 3 тысячах примеров из набора BLIP3o-Pretrain-Long-Caption и настроена на имитацию системы BLIP3o (Bootstrapped Language-Image Pretraining). Она предназначена для автоматического описания сцен, природных ландшафтов, портретов, объектов и других визуальных категорий, включая последовательное описание кадров видео. Основной язык — английский.

Модель использует мультимодальную архитектуру базовой Gemma-4-E2B-it, поддерживает обработку изображений и ориентирована на локальный inference с использованием Transformers или llama.cpp. Модифицированный chat template содержит встроенный системный промпт для плотных, детализированных и контекстно насыщенных описаний; режим рассуждений по умолчанию отключён для снижения задержки. Доступны файлы GGUF в форматах от Q2_K до Q8_0, а также варианты BF16 и F16.

Сильными сторонами модели являются специализация на подробном image captioning, поддержка последовательных видеокадров и пригодность для локальных или ориентированных на приватность сценариев. Ограничение заключается в том, что модель экспериментальная и может выдавать артефакты или ухудшенные результаты при использовании для общего диалога и задач, не связанных с описанием изображений. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma4-BLIP3o-Captioner-5B

Gemma4-BLIP3o-Captioner-5B is a fine-tuned image captioning model built on top of Gemma-4-E2B-it, designed to mimic and replicate the BLIP3o (Bootstrapped Language-Image Pretraining) Captioning System through targeted fine-tuning on ~3K samples from the BLIP3o-Pretrain-Long-Caption dataset. The model features a modified chat template with a hardcoded expert system prompt engineered for dense, detail-rich image captioning — covering a wide range of image categories including scenery, natural environments, portraits, objects, and more — with thinking mode disabled by default to prioritize low-latency captioning outputs. It supports sequential video frame captioning, making it suitable for temporally ordered visual description tasks. As a captioning-specialized variant, the model may produce artifacts or degraded outputs when used for general-purpose conversational or instruction-following tasks outside its captioning scope. Ideal for applications requiring structured, verbose, and contextually accurate image descriptions in privacy-focused or local inference environments, leveraging the efficient multimodal backbone of Gemma-4-E2B-it.

[!IMPORTANT] Note: This model is experimental and not an all-purpose one.

Model Files

File NameQuant TypeFile SizeFile Link
Gemma4-BLIP3o-Captioner-5B.BF16.ggufBF169.31 GBDownload
Gemma4-BLIP3o-Captioner-5B.F16.ggufF169.31 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q2_K.ggufQ2_K2.99 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q3_K_L.ggufQ3_K_L3.28 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q3_K_M.ggufQ3_K_M3.2 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q3_K_S.ggufQ3_K_S3.11 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q4_0.ggufQ4_03.36 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q4_K_M.ggufQ4_K_M3.43 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q4_K_S.ggufQ4_K_S3.37 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q5_0.ggufQ5_03.6 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q5_K_M.ggufQ5_K_M3.63 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q5_K_S.ggufQ5_K_S3.6 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q6_K.ggufQ6_K3.85 GBDownload
Gemma4-BLIP3o-Captioner-5B.Q8_0.ggufQ8_04.95 GBDownload
Gemma4-BLIP3o-Captioner-5B.mmproj-bf16.ggufmmproj-bf16987 MBDownload
Gemma4-BLIP3o-Captioner-5B.mmproj-f16.ggufmmproj-f16987 MBDownload
Gemma4-BLIP3o-Captioner-5B.mmproj-q8_0.ggufmmproj-q8_0557 MBDownload

llama.cpp

LLM inference in C/C++ — https://github.com/ggml-org/llama.cpp

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
9d21bd0

0 моделей