/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
siglip2-so400m-patch14-384
Библиотека
openvino
Опубликована
28 сен 2026

siglip2-so400m-patch14-384-openvino

Эмбеддинги изображенийИзображение → embedding

Экспорт SigLIP2 в OpenVINO для извлечения векторных представлений изображений и их дальнейшего поиска или использования в мультимодальных системах.

0скачиваний за 30 дней0лайковвеса обновлены28 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспорт визуального энкодера SigLIP2 so400m patch14-384 в формат OpenVINO IR, подготовленный anvilarth на основе google/siglip2-so400m-patch14-384. Модель предназначена для получения векторных представлений изображений, которые можно использовать для поиска изображений по содержимому и как визуальный компонент мультимодальных систем.

На вход подаются RGB-изображения в формате uint8 с размерностью NCHW и размером 384×384 пикселя; граф выполняет нормализацию и возвращает attention-pooled эмбеддинг размерности 1152. Веса сохранены в fp32; для CPU с AVX-512 BF16 доступен режим BF16. Экспорт проверен на совпадение с исходной моделью, однако изменение точности может немного влиять на эмбеддинги. Изменение размера и кадрирование выполняются вне графа, поэтому способ предобработки влияет на результат. Лицензия — Apache-2.0.

Сценарии применения

  • извлечение эмбеддингов изображений для поиска
  • поиск похожих изображений в коллекции
  • подготовка визуальных признаков для мультимодальной модели

Ограничения

Граф принимает изображения только фиксированного размера 384×384 и не выполняет масштабирование или кадрирование. Эмбеддинги не нормализованы по L2; BF16 может немного отличаться от fp32.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SigLIP2 so400m patch14-384 vision encoder (OpenVINO IR)

This is an OpenVINO export of the vision tower of google/siglip2-so400m-patch14-384, revision e8e487298228002f3d8a82e0cd5c8ea9c567f57f.

  • Input: uint8 RGB, NCHW, shape [N, 3, 384, 384]. The graph includes normalization ((x/255 - 0.5) / 0.5).
  • Output: pooler_output, shape [N, 1152]. This is the attention-pooled image embedding; it is not L2-normalized.
  • Precision: weights are stored in fp32. On CPUs with AVX-512 BF16, use INFERENCE_PRECISION_HINT: bf16 for speed.
import openvino as ov
core = ov.Core()
model = core.compile_model("model.xml", "CPU", {"INFERENCE_PRECISION_HINT": "bf16"})
embeddings = model([pixels_u8_nchw])[model.output(0)]

Parity

validation.npz contains a deterministic uint8 probe (pixels) and the PyTorch fp32 reference output for it (reference).

On 16 real 720p video frames, center-square cropped to 384 px, the table compares this export with the original PyTorch fp32 vision model on the same pixels:

OpenVINO precisioncosine mincosine mean
f321.000001.00000
bf160.999410.99980

Resizing and cropping are not part of the graph. The reference image processor squashes the full image to 384×384. On non-square frames, a center-square crop gives different embeddings: mean cosine 0.92 on 16:9 frames.

Conversion

The graph was converted with openvino.convert_model from a module that wraps vision_model with uint8 normalization buffers (OpenVINO 2026.4.0, transformers 5.17.0). It was saved with compress_to_fp16=False. On the probe, PyTorch fp32 vs OpenVINO f32 cosine is ≥ 0.99999. model.json lists the file hashes.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · openvino

Нельзя запустить

Модель выложена для OpenVINO.

Ревизия весов
3069c01

0 моделей