/ Модель

Характеристики

Лицензия
MIT
Библиотека
open_clip
Опубликована
21 сен 2026

sea-clip-tiny-abl-cg

Классификация изображений без дообученияИзображение, текст → label3 профессии

Экспериментальная модель CLIP для классификации изображений по текстовым описаниям и сопоставления изображений с текстом, обученная на варианте смеси Only CG.

29скачиваний за 30 дней0лайковвеса обновлены21 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SEA-CLIP-Tiny-abl-cg — исследовательская абляционная версия SEA-CLIP-Tiny, опубликованная авторами проекта SEA-CLIP-Tiny для сравнения вариантов обучающей смеси в работе ACCV 2026. Это модель сопоставления изображений и текста на базе CLIP: визуальная башня ViT-T/16 и 12-слойная текстовая башня шириной 384, размерность эмбеддингов 512; всего 46,11 млн параметров. Контекст токенизатора CLIP BPE — 77 токенов.

Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, а также поддерживает поиск соответствий между изображениями и текстом. Вариант «Only CG» обучен на смеси CG; в таблице результатов его R@1 составляет 46,5 на CG и существенно ниже на остальных указанных источниках и ImageNet. Используется через библиотеку open_clip. Лицензия — MIT. README описывает абляционный чекпойнт, поэтому результаты и область применимости следует считать экспериментальными.

Сценарии применения

  • классификация изображения по текстовым меткам без дообучения
  • поиск изображения по текстовому запросу
  • поиск текстового описания по изображению
  • сравнение качества моделей CLIP на данных CG

Ограничения

В абляционном сравнении качество на WIT, Bloom и ImageNet значительно ниже результата на CG. Текстовый контекст ограничен 77 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SEA-CLIP-Tiny — ablation: Only CG

One row of the ablation table of SEA-CLIP-Tiny (ACCV 2026). Same architecture, pipeline and hyperparameters as the main model; the difference is the training mixture.

Usage

import open_clip

model, _, preprocess = open_clip.create_model_and_transforms('hf-hub:fassabilf/sea-clip-tiny-abl-cg')
tokenizer = open_clip.get_tokenizer('hf-hub:fassabilf/sea-clip-tiny-abl-cg')

Model

ArchitectureViT-T/16 vision tower + 12-layer / 384-wide text tower, embed dim 512
TokenizerCLIP BPE, vocab 49408, context length 77
Parameters46.11M (5.62M vision + 40.49M text)
Training dataCulturalGround-OE-filt (703K pairs)
TeacherMetaCLIP2-ViT-B-16-worldwide

Results

Retrieval R@1 on the held-out splits of each training source, zero-shot ImageNet accuracy, and the paper's retrieval-only Avg@1 over XM3600, Flickr30k-200 and XTD-200 (%).

CG R@1WIT R@1Bloom R@1ImageNetR@1-Avg
46.50.20.60.20.2

Reproduce

Training and evaluation code: https://github.com/fassabilf/sea-clip-tiny. The exact training configuration of this checkpoint is in params.txt in this repo.

Citation

@inproceedings{seacliptiny2026,
  title     = {SEA-CLIP-Tiny: Efficient Multilingual Text-Vision Embedding for Southeast Asian Languages},
  booktitle = {Asian Conference on Computer Vision (ACCV)},
  year      = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
bb7dadf

0 моделей