/ Модель

Характеристики

Лицензия
MIT
Библиотека
open_clip
Опубликована
21 сен 2026

sea-clip-tiny-init

Классификация изображений без дообученияИзображение, текст → label3 профессии

Начальный английский чекпойнт CLIP-KD для сопоставления изображений с текстовыми метками и классификации изображений без дообучения.

25скачиваний за 30 дней0лайковвеса обновлены21 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SEA-CLIP-Tiny English initialisation (e0) — чекпойнт студенческой модели CLIP-KD, который служит начальной точкой для запусков SEA-CLIP-Tiny, описанных для ACCV 2026. Это исходная инициализация, а не обученная SEA-модель: на этом этапе модель ещё не обучалась на данных Юго-Восточной Азии.

Модель использует зрительную башню ViT-T/16 и 12-слойную текстовую башню шириной 384, проецирующие представления в общее пространство размерности 512. В ней 46,11 млн параметров; токенизатор CLIP BPE имеет словарь из 49 408 токенов и контекст 77 токенов. Модель предназначена для сопоставления изображений и текстовых меток и классификации изображений без дополнительного обучения через текстовые описания классов. Поддерживает английский язык; заявленные языковые метки репозитория также включают индонезийский, яванский, сунданский, малайский, тайский, вьетнамский и бирманский, однако карточка уточняет, что данный чекпойнт ещё не видел данных Юго-Восточной Азии.

Разработчик предоставляет веса в формате PyTorch для библиотеки open_clip. Лицензия — MIT. Поскольку это начальная английская инициализация, пригодность для многоязычной классификации SEA-сценариев без последующего обучения не подтверждена.

Сценарии применения

  • классификация изображений по заданным текстовым названиям классов
  • поиск изображений по короткому текстовому описанию
  • оценка соответствия изображения нескольким текстовым меткам

Ограничения

Это только начальная английская инициализация: чекпойнт не обучался на данных Юго-Восточной Азии, поэтому его пригодность для SEA-языков и сценариев не подтверждена. Контекст текстового энкодера ограничен 77 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SEA-CLIP-Tiny — English initialisation (e0)

The English CLIP-KD student checkpoint used to initialise every SEA-CLIP-Tiny run in SEA-CLIP-Tiny (ACCV 2026). It is the starting point, not a trained SEA model: no Southeast Asian data has been seen at this point.

Usage

import open_clip

model, _, preprocess = open_clip.create_model_and_transforms('hf-hub:fassabilf/sea-clip-tiny-init')
tokenizer = open_clip.get_tokenizer('hf-hub:fassabilf/sea-clip-tiny-init')

Model

ArchitectureViT-T/16 vision tower + 12-layer / 384-wide text tower, embed dim 512
TokenizerCLIP BPE, vocab 49408, context length 77
Parameters46.11M (5.62M vision + 40.49M text)
Training dataEnglish CLIP-KD pretraining (no SEA data)
Teacher—

Reproduce

Training and evaluation code: https://github.com/fassabilf/sea-clip-tiny. The exact training configuration of this checkpoint is in params.txt in this repo.

Citation

@inproceedings{seacliptiny2026,
  title     = {SEA-CLIP-Tiny: Efficient Multilingual Text-Vision Embedding for Southeast Asian Languages},
  booktitle = {Asian Conference on Computer Vision (ACCV)},
  year      = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов
6755c5f

0 моделей