MobileCLIP-S2 — модель сопоставления изображений и текста, разработанная Apple и представленная в работе MobileCLIP на CVPR 2024. В этом репозитории опубликован чекпойнт для OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт варианты классов текстом, а модель оценивает соответствие изображения каждому варианту.

Вариант S2 содержит визуальную часть на 35,7 млн параметров и текстовую на 63,4 млн параметров. По данным карточки, на ImageNet модель достигает 74,4% точности zero-shot top-1, а средний результат на 38 наборах данных составляет 63,7%. Авторы сообщают, что S2 работает в 2,3 раза быстрее и имеет в 2,1 раза меньше параметров, чем SigLIP ViT-B/16. Модель принимает изображения и текст, выдаёт оценки соответствия; сведения о поддерживаемых естественных языках и длине текстового контекста в карточке не приведены.

Весá доступны в форматах PyTorch и safetensors и используются через OpenCLIP. Лицензия — Apple AMLR; перед применением следует проверить её условия. Описанные результаты относятся к оценкам авторов и не гарантируют качество на конкретных изображениях или наборах классов.