Характеристики

Лицензия: Apache 2.0
Базовая модель: clip-vit-base-patch16
Опубликована: 5 окт 2026

Ссылки

ReCalCon

Классификация изображений без дообученияИзображение, текст → label

ReCalCon — набор чекпойнтов на основе CLIP для zero-shot классификации изображений и исследований устойчивости к сдвигу распределения.

0скачиваний за 30 дней0лайковвеса обновлены5 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ReCalCon — набор чекпойнтов модели компьютерного зрения, подготовленный для исследования Re-calibrated Contrastive Loss for Transformation-Aware Prompt Conditioning in Vision-Language Models, представленного на BMVC 2026. Модель основана на CLIP с архитектурами ViT-B/16 и ViT-B/32 и предназначена для классификации изображений по текстовым меткам без отдельного обучения классификатора, включая оценку устойчивости к сдвигу распределения и перенос на новые наборы данных.

Репозиторий содержит полные состояния модели в формате safetensors с весами fp32 и конфигурации для оценки. В README приведены результаты на ImageNet и вариантах со сдвигом распределения, iWildCam, Caltech101, Flowers102 и PCam. В метаданных указана лицензия Apache-2.0. Модель принимает изображения и текстовые описания классов и сопоставляет их для zero-shot классификации; основной язык не задан.

Сценарии применения

классификация изображений по заданным текстовым меткам без обучения классификатора
оценка устойчивости классификатора изображений к сдвигу распределения
сравнение вариантов CLIP ViT-B/16 и ViT-B/32 на задачах переноса
классификация изображений дикой природы в iWildCam
перенос классификации на Caltech101, Flowers102 и PCam

Ограничения

Репозиторий предназначен для оценки чекпойнтов через указанные конфигурации и скрипт проекта; README не описывает универсальный интерфейс инференса. Языковая поддержка и результаты за пределами перечисленных наборов данных не заявлены.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ReCalCon

Checkpoints for Re-calibrated Contrastive Loss for Transformation-Aware Prompt Conditioning in Vision-Language Models (BMVC 2026). Paper · Code

Each folder holds model.safetensors (the full model state dict, fp32) and config.json, which names the released config to evaluate it with.

Usage

hf download SoongE/ReCalCon --include "distribution_shift/imagenet_b16/*" --local-dir checkpoints
python -m scripts.eval --config imagenet_b16 \
  --eval.checkpoint checkpoints/distribution_shift/imagenet_b16/model.safetensors

Checkpoints

Distribution shift (top-1 accuracy, %)

Checkpoint	Row	ImageNet	-R	-A	-V2	-Sketch	ObjectNet
`distribution_shift/imagenet_b16`	ViT-B/16, Update, ImageNet	83.284	71.607	54.893	74.1	51.781	58.388
`distribution_shift/imagenet_b32`	ViT-B/32, Update, ImageNet	79.354	62.41	32.573	68.15	44.503	49.203
`distribution_shift/imagenet_petl_b16`	ViT-B/16, Freeze (PETL), ImageNet	80.206	73.163	50.867	70.13	49.614	55.691
`distribution_shift/imagenet_petl_b32`	ViT-B/32, Freeze (PETL), ImageNet	76.12	63.563	30.453	64.52	42.267	46.662

iWildCam (macro-F1, %). The released evaluation reports the OOD split.

Checkpoint	Row	ID (macro-F1)	OOD (macro-F1)
`distribution_shift/iwildcam_b16`	ViT-B/16, Update, iWildCam	51.253	37.803
`distribution_shift/iwildcam_b32`	ViT-B/32, Update, iWildCam	42.116	29.275
`distribution_shift/iwildcam_petl_b16`	ViT-B/16, Freeze (PETL), iWildCam	45.49	30.327
`distribution_shift/iwildcam_petl_b32`	ViT-B/32, Freeze (PETL), iWildCam	34.709	24.502

Transfer learning (top-1 accuracy, %)

Checkpoint	Dataset	Accuracy
`transfer/caltech101`	Caltech101	97.85
`transfer/flowers102`	Flowers102	98.894
`transfer/pcam`	PCam	89.413
`transfer/stanfordcars`	StanfordCars	91.419

License

Apache License 2.0. The models are fine-tuned from OpenAI CLIP (MIT License); each evaluation dataset keeps its own terms.

Citation

@inproceedings{oh2026recalibrated,
  title     = {Re-calibrated Contrastive Loss for Transformation-Aware Prompt Conditioning in Vision-Language Models},
  author    = {Oh, Seungmin and Kang, Seunghun and Ryu, Jongbin},
  booktitle = {Proceedings of the British Machine Vision Conference},
  year      = {2026},
  publisher = {BMVA},
  url       = {https://arxiv.org/abs/2609.06967}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: dcd36d6