/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
siglip · dense
Базовая модель
siglip2-base-patch16-224
Библиотека
transformers
Опубликована
28 июл 2026

siglip2-base-droid

Классификация изображений без дообученияИзображение, текст → label3 профессии

SigLIP2 Base, адаптированная на изображениях DROID, предназначена для классификации робототехнических изображений по текстовым меткам и сопоставления изображений с текстом.

10скачиваний за 30 дней0лайковвеса обновлены28 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SigLIP2 Base адаптирован на изображениях DROID с манипуляциями роботов. Модель основана на google/siglip2-base-patch16-224: дообучены последние блоки визуального трансформера и голова attention pooling, а текстовый энкодер оставлен замороженным. Она предназначена для классификации изображений по текстовым меткам без отдельного дообучения и поиска соответствий между изображениями и текстом в сценариях робототехники.

Модель использует архитектуру SigLIP2 Base с визуальным энкодером и текстовой башней; опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В карточке указан шаг обучения 20 000.

Сценарии применения

  • классификация изображений манипуляций робота по текстовым описаниям
  • поиск изображений DROID по текстовому запросу
  • сопоставление кадров робота с текстовыми метками
  • извлечение визуальных признаков для задач робототехники

Ограничения

Адаптация ориентирована на изображения манипуляций роботов из DROID, поэтому качество на других типах изображений может отличаться. Текстовая башня заморожена; карточка не сообщает о поддержке дополнительных задач сверх классификации изображений по текстовым меткам.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SigLIP2 Base adapted on DROID (step 20,000)

This model starts from google/siglip2-base-patch16-224 and adapts its final vision-transformer blocks and attention-pooling head to DROID robot-manipulation images. The text tower remains frozen.

import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

model_id = "YOUR_ORG/YOUR_MODEL"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModel.from_pretrained(model_id).eval()
image = Image.open("example.jpg").convert("RGB")
inputs = processor(images=image, return_tensors="pt")

with torch.inference_mode():
    result = model.get_image_features(**inputs)
    vector = result.pooler_output if hasattr(result, "pooler_output") else result
    vector = torch.nn.functional.normalize(vector.float(), dim=-1)

print(vector.shape)  # [1, 768]

Training step: 20,000.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · zero-shot-image-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
SiglipModel
Ревизия весов
f8c6ce8

0 моделей