Характеристики

Лицензия: MIT
Архитектура: segformer · dense
Базовая модель: segformer_b2_clothes
Опубликована: 8 дек 2023

Ссылки

Hugging Face

segformer-b2-human-parse-24

yolo12138

Сегментация изображенийИзображение → mask3 профессии

Дообученная SegFormer B2 сегментирует на изображениях части человека и элементы одежды по пикселям.

482скачиваний за 30 дней12лайковвеса обновлены8 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SegFormer B2 для семантической сегментации людей на изображениях: модель дообучена автором репозитория yolo12138 на наборе human_parsing_29_mix на основе mattmdjaga/segformer_b2_clothes. Она присваивает пикселям классы частей тела и одежды, включая волосы, лицо, руки, ноги, юбки и элементы верхней одежды. В оценке на тестовом наборе указаны Mean IoU 0,6023 и Overall Accuracy 0,9780.

Модель подходит для анализа одежды и позиций частей тела на фотографиях, например для каталогизации изображений или подготовки масок сегментации. Метрики показывают неодинаковое качество по классам: для лица, волос, рук и брюк результаты высокие, тогда как для перчаток, очков, обуви, пальто и сумок низкие или нулевые. Репозиторий распространяется по лицензии MIT.

Сценарии применения

создание масок частей тела на фотографиях
сегментация одежды для каталогов товаров
выделение лица, волос, рук и ног на изображении
анализ областей брюк, юбок и верхней одежды

Ограничения

Качество сильно различается между классами: точность для перчаток, очков, носков, обуви, пальто и сумок низкая или нулевая; для шляп и шарфов метрики приведены как nan. Метрики получены на оценочном наборе и не гарантируют такое же качество на других изображениях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

segformer-b2-human-parse-24

This model is a fine-tuned version of mattmdjaga/segformer_b2_clothes on the human_parsing_29_mix dataset. It achieves the following results on the evaluation set:

Loss: 0.0818
Mean Iou: 0.6023
Mean Accuracy: 0.6321
Overall Accuracy: 0.9780
Accuracy Background: 0.9969
Accuracy Hat: nan
Accuracy Hair: 0.9646
Accuracy Glove: 0.0
Accuracy Glasses: 0.0
Accuracy Upper Only Torso Region: 0.9747
Accuracy Dresses Only Torso Region: 0.4939
Accuracy Coat Only Torso Region: 0.0039
Accuracy Socks: 0.0
Accuracy Left Pants: 0.9604
Accuracy Right Patns: 0.9646
Accuracy Skin Around Neck Region: 0.9585
Accuracy Scarf: nan
Accuracy Skirts: 0.8904
Accuracy Face: 0.9796
Accuracy Left Arm: 0.9703
Accuracy Right Arm: 0.9700
Accuracy Left Leg: 0.9267
Accuracy Right Leg: 0.9297
Accuracy Left Shoe: 0.0
Accuracy Right Shoe: 0.0
Accuracy Left Sleeve For Upper: 0.9462
Accuracy Right Sleeve For Upper: 0.9517
Accuracy Bag: 0.0234
Iou Background: 0.9941
Iou Hat: nan
Iou Hair: 0.9268
Iou Glove: 0.0
Iou Glasses: 0.0
Iou Upper Only Torso Region: 0.9351
Iou Dresses Only Torso Region: 0.4059
Iou Coat Only Torso Region: 0.0035
Iou Socks: 0.0
Iou Left Pants: 0.9232
Iou Right Patns: 0.9217
Iou Skin Around Neck Region: 0.9227
Iou Scarf: nan
Iou Skirts: 0.7887
Iou Face: 0.9582
Iou Left Arm: 0.9436
Iou Right Arm: 0.9426
Iou Left Leg: 0.8836
Iou Right Leg: 0.8767
Iou Left Shoe: 0.0
Iou Right Shoe: 0.0
Iou Left Sleeve For Upper: 0.9005
Iou Right Sleeve For Upper: 0.9012
Iou Bag: 0.0232

Model description

More information needed

"id2label": {
    "0": "background",
    "1": "hat",
    "2": "hair",
    "3": "glove",
    "4": "glasses",
    "5": "upper_only_torso_region",
    "6": "dresses_only_torso_region",
    "7": "coat_only_torso_region",
    "8": "socks",
    "9": "left_pants",
    "10": "right_patns",
    "11": "skin_around_neck_region",
    "12": "scarf",
    "13": "skirts",
    "14": "face",
    "15": "left_arm",
    "16": "right_arm",
    "17": "left_leg",
    "18": "right_leg",
    "19": "left_shoe",
    "20": "right_shoe",
    "21": "left_sleeve_for_upper",
    "22": "right_sleeve_for_upper",
    "23": "bag"
}

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 6e-05
train_batch_size: 16
eval_batch_size: 12
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 8

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Accuracy Background	Accuracy Hat	Accuracy Hair	Accuracy Upper Only Torso Region	Accuracy Dresses Only Torso Region	Accuracy Coat Only Torso Region	Accuracy Left Pants	Accuracy Right Patns	Accuracy Skin Around Neck Region	Accuracy Scarf	Accuracy Skirts	Accuracy Face	Accuracy Left Arm	Accuracy Right Arm	Accuracy Left Leg	Accuracy Right Leg	Accuracy Left Sleeve For Upper	Accuracy Right Sleeve For Upper	Accuracy Bag	Iou Background	Iou Hat	Iou Hair	Iou Upper Only Torso Region	Iou Dresses Only Torso Region	Iou Coat Only Torso Region	Iou Left Pants	Iou Right Patns	Iou Skin Around Neck Region	Iou Scarf	Iou Skirts	Iou Face	Iou Left Arm	Iou Right Arm	Iou Left Leg	Iou Right Leg	Iou Left Sleeve For Upper	Iou Right Sleeve For Upper	Iou Bag
0.0652	1.62	1000	0.0802	0.5857	0.6166	0.9737	0.9963	nan	0.9490	0.9801	0.4034	0.0	0.9487	0.9574	0.9272	nan	0.8783	0.9782	0.9628	0.9534	0.8874	0.9012	0.9227	0.9197	0.0	0.9926	nan	0.9117	0.9217	0.3541	0.0	0.9084	0.9073	0.8963	nan	0.7766	0.9455	0.9210	0.9191	0.8405	0.8496	0.8673	0.8728	0.0
0.061	3.23	2000	0.0843	0.5977	0.6335	0.9747	0.9967	nan	0.9580	0.9657	0.5733	0.1504	0.9591	0.9600	0.9497	nan	0.8169	0.9789	0.9667	0.9645	0.8906	0.9165	0.9444	0.9445	0.0003	0.9935	nan	0.9199	0.9273	0.4058	0.1206	0.9131	0.9082	0.9128	nan	0.7330	0.9527	0.9355	0.9343	0.8534	0.8651	0.8860	0.8879	0.0003
0.0653	4.85	3000	0.0823	0.6000	0.6295	0.9775	0.9967	nan	0.9621	0.9780	0.4991	0.0044	0.9587	0.9649	0.9562	nan	0.8842	0.9769	0.9692	0.9651	0.9198	0.9273	0.9422	0.9415	0.0037	0.9939	nan	0.9247	0.9341	0.4136	0.0042	0.9202	0.9193	0.9193	nan	0.7899	0.9563	0.9403	0.9388	0.8745	0.8741	0.8963	0.8970	0.0037
0.0402	6.46	4000	0.0818	0.6023	0.6321	0.9780	0.9969	nan	0.9646	0.9747	0.4939	0.0039	0.9604	0.9646	0.9585	nan	0.8904	0.9796	0.9703	0.9700	0.9267	0.9297	0.9462	0.9517	0.0234	0.9941	nan	0.9268	0.9351	0.4059	0.0035	0.9232	0.9217	0.9227	nan	0.7887	0.9582	0.9436	0.9426	0.8836	0.8767	0.9005	0.9012	0.0232

Framework versions

Transformers 4.35.2
Pytorch 2.1.1
Datasets 2.15.0
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: SegformerForSemanticSegmentation
Ревизия весов: 9a0e89e