Характеристики

Архитектура: clip_multitask_classifier · dense
Библиотека: transformers
Опубликована: 2 июл 2026

Ссылки

autocatalogai-clip-multitask

Классификация изображенийИзображение → label3 профессии

Модель классифицирует изображения модных товаров и извлекает из них семь атрибутов для автоматического заполнения каталога.

9скачиваний за 30 дней0лайковвеса обновлены2 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AutoCatalogAI CLIP Multi-Task Classifier — модель для извлечения атрибутов модных товаров по изображениям. Она использует визуальный энкодер CLIP ViT-Base/32 с отдельными классификационными головами для семи полей: пола, основной категории, подкатегории, типа товара, основного цвета, сезона и назначения. Базовая модель — openai/clip-vit-base-patch32; обучение проводилось на наборе ashraq/fashion-product-images-small с разделением на обучающую, валидационную и тестовую выборки.

На тесте из 6611 изображений средняя точность по атрибутам составила 83,4%, средний macro F1 — 65,7%, а exact match по всем атрибутам одновременно — 27,9%. Модель рассчитана на автоматическое заполнение карточек одежды и классификацию изображений товаров; для загрузки требуются пользовательские классификационные головы и код проекта AutoCatalogAI. Репозиторий содержит веса PyTorch. Лицензия в доступных данных не указана.

Сценарии применения

извлечение категории и типа одежды по фотографии
определение цвета товара на изображении
классификация одежды по полу и сезону
автоматическое заполнение атрибутов карточки модного товара
разметка изображений одежды для интернет-магазина

Ограничения

Exact match по всем семи атрибутам на тестовой выборке составляет 27,9%, несмотря на среднюю точность 83,4% по атрибутам. Для загрузки нужны пользовательские классификационные головы и код проекта AutoCatalogAI.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AutoCatalogAI CLIP Multi-Task Classifier

AutoCatalogAI is a fashion product attribute extraction model.

It predicts:

['gender', 'masterCategory', 'subCategory', 'articleType', 'baseColour', 'season', 'usage']

Dataset

Dataset: ashraq/fashion-product-images-small

Split:

Train: 70%
Validation: 15%
Test: 15%

Base Model

openai/clip-vit-base-patch32

Architecture

CLIP image encoder + multiple classification heads.

Overall Test Metrics

{
  "average_accuracy": 0.8335026038852995,
  "average_macro_f1": 0.6568447666058456,
  "average_weighted_f1": 0.8421526081109854,
  "average_top3_accuracy": 0.9711087581303888,
  "exact_match_accuracy": 0.27938284677053393,
  "avg_inference_time_ms_per_image": 1.5960319117829298,
  "test_samples": 6611
}

Important

This model should be loaded with the AutoCatalogAI project code because it contains custom multi-task classifier heads.

Expected files:

model.pt
config.json
label_maps.json
metrics.json
README.md

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · image-classification

Нельзя запустить

Архитектура clip_multitask_classifier неизвестна transformers в образе рантайма.

Ревизия весов: 9551299