Характеристики

Лицензия: Apache 2.0
Библиотека: libreyolo
Опубликована: 8 июл 2026

Ссылки

Hugging Face

LibreSigLIP2so400m-cls

LibreYOLO

Классификация изображений без дообученияИзображение, текст → label

Многоязычная модель SigLIP 2 для классификации изображений по пользовательским текстовым категориям без обучения.

0скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LibreSigLIP2so400m-cls — модель LibreYOLO для классификации изображений по заданным пользователем категориям без дообучения. Она сопоставляет изображение и текстовые описания классов с помощью двухбашенной архитектуры SigLIP 2: визуального энкодера с патчами 14×14 и текстовой башни. Модель рассчитана на входное разрешение 384 пикселя и содержит около 400 млн параметров согласно названию версии.

Задайте набор категорий во время работы, например «погрузчик», «пустой проход» и «разлитая жидкость», и модель оценит изображение по этим классам. Поддерживается многоязычный текстовый словарь SentencePiece на основе Gemma, а режим multi_label позволяет независимо оценивать несколько подходящих меток. README приводит результат 99,5% top-1 на Imagenette из 10 классов при указанном шаблоне запроса; это результат одного теста, а не гарантия для произвольных изображений.

Модель производна от google/siglip2-so400m-patch14-384: изменена только упаковка метаданных состояния для формата LibreYOLO, обученные параметры сохранены. Репозиторий содержит веса PyTorch; лицензия Apache-2.0.

Сценарии применения

классификация изображений по заданному списку категорий
поиск погрузчика или другой техники на кадрах
обнаружение пустых проходов на изображениях
оценка наличия разлитой жидкости на снимке
многометочная классификация изображения

Ограничения

Модель принимает изображения с фиксированным разрешением 384 пикселя; качество зависит от формулировок категорий и может отличаться от приведённого результата на Imagenette. README не сообщает отдельные метрики на других наборах данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LibreSigLIP2so400m-cls

SigLIP 2 shape-optimized 400M patch-14 (384 px) dual-tower zero-shot image classifier, repackaged for LibreYOLO. The accuracy tier of the LibreSigLIP2 family. Open vocabulary: define your own class set at runtime with set_classes, no training needed. Multilingual (SentencePiece, Gemma vocabulary), with an optional multi_label=True sigmoid scoring mode.

Usage

from libreyolo import LibreYOLO

model = LibreYOLO("LibreSigLIP2so400m-cls.pt")
model.set_classes(["a forklift", "an empty aisle", "a spill"])
r = model.predict("frame.jpg")[0]
print(model.names[r.probs.top1], float(r.probs.top1conf))

Requires the libreyolo[siglip2] extra (SentencePiece tokenizer). Note: this model runs at 384 px with a 27-layer 1152-wide ViT; it is heavy on CPU, prefer a GPU.

Source

Derived from google/siglip2-so400m-patch14-384 at commit e8e487298228002f3d8a82e0cd5c8ea9c567f57f. Copyright (c) Google LLC. Licensed under the Apache License 2.0.

Reference implementations: google-research/big_vision and the Hugging Face transformers SigLIP code (both Apache-2.0). This fixed-resolution SigLIP 2 checkpoint uses the original SigLIP transformer architecture (model_type: "siglip"); the NaFlex variants are not included.

Modifications

State-dict metadata wrap only (LibreYOLO v1.0 checkpoint schema). Learned parameters are unchanged. See weights/convert_siglip2_weights.py in the LibreYOLO source repository.

Parity vs the reference transformers model at fp32 CPU: text tower and vision encoder are bit-identical (max_abs_diff == 0); the attention-pooled image feature differs by < 1e-6 (a torch MultiheadAttention fused-kernel residual, documented in weights/parity_siglip2.py).

Zero-shot accuracy

Imagenette (10-class, val, model.val() zero-shot, prompt "a photo of a {}."): 99.5 top-1 (160 px source images), 99.6 top-1 (320 px source images). Beats LibreSigLIP2b16-cls on both.

License

Apache License 2.0. See the LICENSE and NOTICE files in this repository. Weights were trained by Google on the WebLI dataset, which is not redistributed here.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · libreyolo · zero-shot-image-classification

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 8467232