/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
timm
Опубликована
21 фев 2025

vit_giantopt_patch16_siglip_256.v2_webli

Эмбеддинги изображенийИзображение → embedding6 профессий

Визуальный энкодер SigLIP 2 ViT-Giant извлекает признаки изображений для поиска и других задач компьютерного зрения.

762скачиваний за 30 дней0лайковвеса обновлены21 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель timm/vit_giantopt_patch16_siglip_256.v2_webli — визуальный энкодер семейства SigLIP 2 на архитектуре ViT-Giant с патчами 16×16, обученный на наборе WebLI. Это только визуальная часть модели: она преобразует изображения в признаки и предназначена для извлечения визуальных представлений, а не для генерации текста или изображений. Репозиторий использует библиотеку timm и предоставляет веса в форматах PyTorch и Safetensors.

Энкодер можно применять как компонент систем поиска по изображениям, сопоставления изображений с текстовыми представлениями и других задач, которым нужны визуальные признаки. В карточке указана лицензия Apache-2.0. Число параметров и размер контекста в доступных сведениях не приводятся.

Сценарии применения

  • извлечение признаков изображений для последующей классификации
  • поиск похожих изображений по векторным представлениям
  • подготовка визуальных эмбеддингов для мультимодального поиска
  • использование визуального энкодера в пайплайнах компьютерного зрения

Ограничения

Модель содержит только визуальный энкодер и сама по себе не принимает текст и не выполняет генерацию текста или изображений. Качество и пригодность для конкретной задачи зависят от последующего компонента и способа использования извлечённых признаков.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for vit_giantopt_patch16_siglip_256.v2_webli

A SigLIP 2 ViT (image encoder only) for timm. Equivalent to image tower from https://huggingface.co/timm/ViT-gopt-16-SigLIP2-256.

Model Details

Citation

@article{tschannen2025siglip,
          title={SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features},
          author={Tschannen, Michael and Gritsenko, Alexey and Wang, Xiao and Naeem, Muhammad Ferjad and Alabdulmohsin, Ibrahim and Parthasarathy, Nikhil and Evans, Talfan and Beyer, Lucas and Xia, Ye and Mustafa, Basil and H'enaff, Olivier and Harmsen, Jeremiah and Steiner, Andreas and Zhai, Xiaohua},
          year={2025},
          journal={arXiv preprint arXiv:2502.14786}
        }
        
@inproceedings{zhai2023sigmoid,
          title={Sigmoid loss for language image pre-training},
          author={Zhai, Xiaohua and Mustafa, Basil and Kolesnikov, Alexander and Beyer, Lucas},
          booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
          pages={11975--11986},
          year={2023}
        }
        

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · timm · image-feature-extraction

Можно запустить

Подбираем GPU…

Ревизия весов
f52e08e

0 моделей