Характеристики

Лицензия: Своя лицензия
Архитектура: segformer · dense
Опубликована: 2 мая 2023

Ссылки

Hugging Face

segformer-b0-finetuned-human-parsing

matei-dorian

Сегментация изображенийИзображение → mask3 профессии

SegFormer B0, дообученный для сегментации частей человеческого тела и одежды на изображениях.

132скачиваний за 30 дней0лайковвеса обновлены30 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

matei-dorian/segformer-b0-finetuned-human-parsing — модель семантической сегментации изображений на основе SegFormer B0, дообученная от nvidia/mit-b0 для разметки частей человека. Она предназначена для выделения на изображении таких областей, как волосы, лицо, верхняя одежда, брюки, платье, обувь, руки и ноги. В карточке приведены метрики оценки: mean IoU 0,0726 и общая точность 0,3575; результаты по классам сильно различаются, поэтому качество разметки многих частей низкое. Модель принимает изображения и выдаёт пиксельную сегментацию классов. Лицензия указана как other, подробные условия в карточке не описаны.

Сценарии применения

сегментация волос и лица на фото
разметка верхней одежды и брюк на изображениях людей
выделение частей тела для анализа фотографий
эксперименты с семантической сегментацией людей

Ограничения

По приведённым метрикам качество низкое и неоднородное: mean IoU составляет 0,0726, а для ряда классов IoU близок к нулю. Условия лицензии other требуют проверки перед использованием.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

segformer-b0-finetuned-human-parsing

This model is a fine-tuned version of nvidia/mit-b0 on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.9476
Mean Iou: 0.0726
Mean Accuracy: 0.1221
Overall Accuracy: 0.3575
Accuracy Background: nan
Accuracy Hat: 0.0048
Accuracy Hair: 0.4813
Accuracy Sunglasses: 0.0
Accuracy Upper-clothes: 0.9405
Accuracy Skirt: 0.0000
Accuracy Pants: 0.0631
Accuracy Dress: 0.1031
Accuracy Belt: 0.0
Accuracy Left-shoe: 0.0011
Accuracy Right-shoe: 0.0010
Accuracy Face: 0.4406
Accuracy Left-leg: 0.0291
Accuracy Right-leg: 0.0
Accuracy Left-arm: 0.0
Accuracy Right-arm: 0.0001
Accuracy Bag: 0.0114
Accuracy Scarf: 0.0
Iou Background: 0.0
Iou Hat: 0.0043
Iou Hair: 0.4221
Iou Sunglasses: 0.0
Iou Upper-clothes: 0.3239
Iou Skirt: 0.0000
Iou Pants: 0.0559
Iou Dress: 0.0728
Iou Belt: 0.0
Iou Left-shoe: 0.0011
Iou Right-shoe: 0.0009
Iou Face: 0.3872
Iou Left-leg: 0.0271
Iou Right-leg: 0.0
Iou Left-arm: 0.0
Iou Right-arm: 0.0001
Iou Bag: 0.0106
Iou Scarf: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 6e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Accuracy Background	Accuracy Hat	Accuracy Hair	Accuracy Sunglasses	Accuracy Upper-clothes	Accuracy Skirt	Accuracy Pants	Accuracy Dress	Accuracy Left-shoe	Accuracy Right-shoe	Accuracy Face	Accuracy Left-leg	Accuracy Right-leg	Accuracy Left-arm	Accuracy Right-arm	Accuracy Bag	Iou Hat	Iou Hair	Iou Sunglasses	Iou Upper-clothes	Iou Skirt	Iou Pants	Iou Dress	Iou Left-shoe	Iou Right-shoe	Iou Face	Iou Left-leg	Iou Right-leg	Iou Left-arm	Iou Right-arm	Iou Bag
2.5768	0.4	20	2.7812	0.0726	0.1332	0.2876	nan	0.0178	0.3204	0.0004	0.5548	0.0004	0.2555	0.2373	0.0103	0.0003	0.5637	0.0287	0.0302	0.0001	0.0008	0.2435	0.0166	0.2759	0.0001	0.2781	0.0004	0.1710	0.1295	0.0098	0.0003	0.3251	0.0260	0.0248	0.0001	0.0007	0.0491
2.2093	0.8	40	2.5166	0.0563	0.1052	0.3288	nan	0.0	0.1994	0.0	0.9447	0.0015	0.0435	0.1164	0.0008	0.0000	0.4655	0.0007	0.0003	0.0	0.0	0.0153	0.0	0.1946	0.0	0.3037	0.0015	0.0417	0.0842	0.0008	0.0000	0.3726	0.0007	0.0003	0.0	0.0	0.0124
1.8804	1.2	60	2.0209	0.0632	0.1110	0.3374	nan	0.0087	0.3724	0.0	0.9475	0.0014	0.0162	0.0528	0.0001	0.0008	0.4257	0.0561	0.0001	0.0	0.0	0.0055	0.0077	0.3472	0.0	0.3086	0.0014	0.0156	0.0403	0.0001	0.0008	0.3597	0.0515	0.0001	0.0	0.0	0.0052
1.8776	1.6	80	2.0016	0.0665	0.1154	0.3454	nan	0.0056	0.4172	0.0	0.9412	0.0000	0.0490	0.0697	0.0002	0.0006	0.4349	0.0329	0.0000	0.0	0.0000	0.0100	0.0048	0.3791	0.0	0.3138	0.0000	0.0438	0.0542	0.0002	0.0006	0.3608	0.0304	0.0000	0.0	0.0000	0.0093
1.8471	2.0	100	1.9476	0.0726	0.1221	0.3575	nan	0.0048	0.4813	0.0	0.9405	0.0000	0.0631	0.1031	0.0011	0.0010	0.4406	0.0291	0.0	0.0	0.0001	0.0114	0.0043	0.4221	0.0	0.3239	0.0000	0.0559	0.0728	0.0011	0.0009	0.3872	0.0271	0.0	0.0	0.0001	0.0106

Framework versions

Transformers 4.28.1
Pytorch 2.0.0+cu118
Datasets 2.12.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: SegformerForSemanticSegmentation
Ревизия весов: 6eb3474