Характеристики

Лицензия: OpenRAIL
Архитектура: segformer · dense
Базовая модель: segformer-b0-scene-parse-150
Опубликована: 23 янв 2024

Ссылки

Hugging Face

segformer-b0-scene-parse-150-20

klentree

Сегментация изображенийИзображение → mask3 профессии

Дообученная SegFormer-B0 модель для пиксельной классификации и семантической сегментации изображений.

11скачиваний за 30 дней0лайковвеса обновлены23 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

klentree/segformer-b0-scene-parse-150-20 — дообученная модель klentree на архитектуре SegFormer-B0 для семантической сегментации изображений: она присваивает категории пикселям и формирует карту сегментации. В README приведены результаты оценки: mean IoU 0,2488, mean accuracy 0,6439 и overall accuracy 0,4669; по категориям IoU составляет около 0,044 и 0,453.

Модель подходит для экспериментов и прикладных задач сегментации сцен, где нужны пиксельные маски объектов или областей. README не раскрывает набор классов и особенности обучающих данных. Репозиторий использует формат safetensors; лицензия — OpenRAIL.

Сценарии применения

получение карты сегментации сцены по изображению
пиксельная классификация областей изображения
экспериментальная оценка семантической сегментации

Ограничения

На оценочном наборе mean IoU равен 0,2488, а overall accuracy — 0,4669; качество заметно различается между двумя категориями. README не описывает классы и обучающие данные, поэтому пригодность для конкретной предметной области следует проверять отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

segformer-b0-scene-parse-150-20

This model is a fine-tuned version of klentree/segformer-b0-scene-parse-150 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.9683
Mean Iou: 0.2488
Mean Accuracy: 0.6439
Overall Accuracy: 0.4669
Per Category Iou: [0.044136660707036465, 0.4534135035032552]
Per Category Accuracy: [0.8321388577827548, 0.45573371779771177]

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 6e-05
train_batch_size: 1
eval_batch_size: 1
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Per Category Iou	Per Category Accuracy
No log	1.0	133	0.1391	0.5047	0.5218	0.9675	[0.04196317239808363, 0.967443434576684]	[0.04813532865044623, 0.9955161397039883]
No log	2.0	266	0.1449	0.5154	0.5451	0.9597	[0.07117236629542235, 0.9595300984781853]	[0.10450134039159795, 0.9857244117018465]
No log	3.0	399	0.1669	0.5128	0.5453	0.9569	[0.06888629524029359, 0.9567357547653306]	[0.10785231938647392, 0.9827560505657416]
0.3733	4.0	532	0.2122	0.5112	0.5576	0.9478	[0.07483006503985525, 0.9475505125490813]	[0.14279581933557298, 0.9723116234544236]
0.3733	5.0	665	0.2619	0.5036	0.6005	0.9199	[0.0879079186151223, 0.9192549826254068]	[0.2610336285588245, 0.9399632680244574]
0.3733	6.0	798	0.3013	0.4815	0.6494	0.8758	[0.08872990969490727, 0.8742854201811897]	[0.40877362652278665, 0.8900430360382596]
0.3733	7.0	931	0.3093	0.4823	0.6044	0.8905	[0.0750589475389164, 0.8895250315242322]	[0.30035460992907803, 0.9084973158596108]
0.2604	8.0	1064	0.2087	0.5090	0.5805	0.9342	[0.0842029042177912, 0.9337687360922476]	[0.20460314228511317, 0.9564103131735049]
0.2604	9.0	1197	0.4990	0.4044	0.6864	0.7459	[0.06763197122282019, 0.7411177869667952]	[0.6230818826563508, 0.7496334354079776]
0.2604	10.0	1330	0.3745	0.4472	0.6666	0.8206	[0.07657083870114431, 0.8178660489858295]	[0.5029200176456615, 0.830259490697111]
0.2604	11.0	1463	1.2307	0.1467	0.5701	0.2778	[0.03481955130980837, 0.25848886923646197]	[0.8806949675930639, 0.2594289909506597]
0.1761	12.0	1596	0.2577	0.4905	0.6244	0.8952	[0.0867593572032901, 0.8941645624438329]	[0.33649258542875565, 0.9122507365946599]
0.1761	13.0	1729	0.4025	0.4353	0.6588	0.8030	[0.07054198842750235, 0.7999897274079024]	[0.505458278190641, 0.8120503803644273]
0.1761	14.0	1862	5.8258	0.0188	0.5025	0.0372	[0.029723375945066684, 0.007894678045920561]	[0.9970477450880586, 0.007895388558467544]
0.1761	15.0	1995	0.7888	0.3005	0.6622	0.5618	[0.049354828101168945, 0.5516162745499266]	[0.7689979300281652, 0.5555007860940694]
0.1331	16.0	2128	0.3346	0.4627	0.6483	0.8488	[0.07848367609919223, 0.846876325384084]	[0.43516067732193153, 0.8614587046651099]
0.1331	17.0	2261	2.7924	0.0254	0.5076	0.0497	[0.03002291425841882, 0.02085235460380035]	[0.9943313312294275, 0.0208559580633969]
0.1331	18.0	2394	1.5711	0.1377	0.5818	0.2605	[0.03562331490097667, 0.23971062459649647]	[0.9234127388102752, 0.24027028849931653]
0.1234	19.0	2527	0.2332	0.4998	0.6022	0.9146	[0.08556669218462386, 0.9139353359496684]	[0.2700549730224982, 0.9342724393702061]
0.1234	20.0	2660	0.9683	0.2488	0.6439	0.4669	[0.044136660707036465, 0.4534135035032552]	[0.8321388577827548, 0.45573371779771177]

Framework versions

Transformers 4.37.0
Pytorch 2.1.0+cu121
Datasets 2.16.1
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: SegformerForSemanticSegmentation
Ревизия весов: c40c6d4