MobileCLIP-S2 — компактная модель сопоставления изображений и текста от Apple, представленная в работе MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training на CVPR 2024. Этот репозиторий содержит чекпойнт для timm в формате PyTorch.

Модель предназначена для классификации изображений и распознавания объектов по текстовым описаниям без дополнительного обучения (zero-shot). Вариант S2 включает 35,7 млн параметров в визуальном энкодере и 63,4 млн в текстовом. По данным авторов, он показывает 74,4% точности top-1 на ImageNet в zero-shot режиме и в среднем 63,7% на 38 наборах данных; авторы также сообщают, что он быстрее и компактнее SigLIP ViT-B/16.

Модель принимает изображения и текстовые описания, а для поиска и классификации сопоставляет их представления. Лицензия — Apple AMLR. В README не приведены сведения о длине контекста или перечне поддерживаемых естественных языков; результаты зависят от набора меток и описаний, используемых при zero-shot классификации.