Характеристики

Лицензия: Своя лицензия
Архитектура: segformer · dense
Базовая модель: mit-b0
Опубликована: 4 сен 2024

Ссылки

segformer-b0-finetuned-segments-sidewalk-oct-22

Сегментация изображенийИзображение → mask3 профессии

Дообученная SegFormer B0 размечает уличные изображения по классам дороги, тротуара, транспорта, людей и элементов городской среды.

15скачиваний за 30 дней0лайковвеса обновлены7 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SegFormer B0 — компактная модель семантической сегментации изображений, разработанная на основе nvidia/mit-b0 и дообученная Chamusuke на наборе segments/sidewalk-semantic. Она размечает пиксели на классы, включая дорогу, тротуар, велосипедную дорожку, людей, автомобили, здания, растительность и небо, поэтому подходит для анализа уличных и дорожных сцен.

На тестовом наборе указаны mean IoU 0,3425 и общая точность 0,8735. Качество заметно различается по классам: высокие значения IoU приведены для тротуара, дороги, велосипедной дорожки и автомобилей, тогда как некоторые классы имеют нулевые или очень низкие результаты. Модель принимает изображение и выдаёт карту семантических классов. Лицензия в метаданных обозначена как other, без уточнения конкретных условий.

Сценарии применения

сегментация тротуаров и дорог на уличных снимках
выделение велосипедных дорожек и пешеходных переходов
разметка автомобилей, людей и велосипедов в дорожных сценах
анализ растительности, зданий и неба на изображениях улиц

Ограничения

На оценочном наборе mean IoU составляет 0,3425; качество по классам неоднородно, и для ряда категорий метрики равны нулю. Лицензия указана как other, поэтому конкретные условия использования следует уточнить в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

segformer-b0-finetuned-segments-sidewalk-oct-22

This model is a fine-tuned version of nvidia/mit-b0 on the segments/sidewalk-semantic dataset. It achieves the following results on the evaluation set:

Loss: 0.5041
Mean Iou: 0.3425
Mean Accuracy: 0.4000
Overall Accuracy: 0.8735
Accuracy Unlabeled: nan
Accuracy Flat-road: 0.8915
Accuracy Flat-sidewalk: 0.9632
Accuracy Flat-crosswalk: 0.5369
Accuracy Flat-cyclinglane: 0.8945
Accuracy Flat-parkingdriveway: 0.5757
Accuracy Flat-railtrack: nan
Accuracy Flat-curb: 0.6197
Accuracy Human-person: 0.8098
Accuracy Human-rider: 0.0
Accuracy Vehicle-car: 0.9559
Accuracy Vehicle-truck: 0.0
Accuracy Vehicle-bus: 0.0
Accuracy Vehicle-tramtrain: nan
Accuracy Vehicle-motorcycle: 0.0
Accuracy Vehicle-bicycle: 0.5943
Accuracy Vehicle-caravan: 0.0
Accuracy Vehicle-cartrailer: 0.0
Accuracy Construction-building: 0.8870
Accuracy Construction-door: 0.0755
Accuracy Construction-wall: 0.5240
Accuracy Construction-fenceguardrail: 0.4137
Accuracy Construction-bridge: 0.0
Accuracy Construction-tunnel: nan
Accuracy Construction-stairs: 0.0
Accuracy Object-pole: 0.4666
Accuracy Object-trafficsign: 0.0
Accuracy Object-trafficlight: 0.0
Accuracy Nature-vegetation: 0.9278
Accuracy Nature-terrain: 0.8655
Accuracy Sky: 0.9629
Accuracy Void-ground: 0.0197
Accuracy Void-dynamic: 0.0120
Accuracy Void-static: 0.4024
Accuracy Void-unclear: 0.0
Iou Unlabeled: nan
Iou Flat-road: 0.7833
Iou Flat-sidewalk: 0.8989
Iou Flat-crosswalk: 0.4792
Iou Flat-cyclinglane: 0.8079
Iou Flat-parkingdriveway: 0.4573
Iou Flat-railtrack: nan
Iou Flat-curb: 0.4863
Iou Human-person: 0.6326
Iou Human-rider: 0.0
Iou Vehicle-car: 0.8576
Iou Vehicle-truck: 0.0
Iou Vehicle-bus: 0.0
Iou Vehicle-tramtrain: nan
Iou Vehicle-motorcycle: 0.0
Iou Vehicle-bicycle: 0.5047
Iou Vehicle-caravan: 0.0
Iou Vehicle-cartrailer: 0.0
Iou Construction-building: 0.7497
Iou Construction-door: 0.0679
Iou Construction-wall: 0.3758
Iou Construction-fenceguardrail: 0.3306
Iou Construction-bridge: 0.0
Iou Construction-tunnel: nan
Iou Construction-stairs: 0.0
Iou Object-pole: 0.3653
Iou Object-trafficsign: 0.0
Iou Object-trafficlight: 0.0
Iou Nature-vegetation: 0.8475
Iou Nature-terrain: 0.7425
Iou Sky: 0.9155
Iou Void-ground: 0.0144
Iou Void-dynamic: 0.0056
Iou Void-static: 0.2942
Iou Void-unclear: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 50
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Accuracy Unlabeled	Accuracy Flat-road	Accuracy Flat-sidewalk	Accuracy Flat-crosswalk	Accuracy Flat-cyclinglane	Accuracy Flat-parkingdriveway	Accuracy Flat-railtrack	Accuracy Flat-curb	Accuracy Human-person	Accuracy Vehicle-car	Accuracy Vehicle-tramtrain	Accuracy Vehicle-bicycle	Accuracy Construction-building	Accuracy Construction-door	Accuracy Construction-wall	Accuracy Construction-fenceguardrail	Accuracy Construction-tunnel	Accuracy Object-pole	Accuracy Nature-vegetation	Accuracy Nature-terrain	Accuracy Sky	Accuracy Void-ground	Accuracy Void-dynamic	Accuracy Void-static	Iou Unlabeled	Iou Flat-road	Iou Flat-sidewalk	Iou Flat-crosswalk	Iou Flat-cyclinglane	Iou Flat-parkingdriveway	Iou Flat-railtrack	Iou Flat-curb	Iou Human-person	Iou Vehicle-car	Iou Vehicle-tramtrain	Iou Vehicle-bicycle	Iou Construction-building	Iou Construction-door	Iou Construction-wall	Iou Construction-fenceguardrail	Iou Construction-tunnel	Iou Object-pole	Iou Nature-vegetation	Iou Nature-terrain	Iou Sky	Iou Void-ground	Iou Void-dynamic	Iou Void-static
0.8295	10.0	500	0.5784	0.2968	0.3454	0.8488	nan	0.8644	0.9708	0.5489	0.8284	0.3579	nan	0.4601	0.5972	0.9478	nan	0.2258	0.8755	0.0	0.5088	0.2398	nan	0.2850	0.9202	0.8444	0.9562	0.0	0.0	0.2760	nan	0.7422	0.8610	0.5062	0.7465	0.3036	nan	0.3674	0.4975	0.7854	nan	0.2219	0.7154	0.0	0.3535	0.2111	nan	0.2336	0.8300	0.7174	0.8829	0.0	0.0	0.2252
0.3353	20.0	1000	0.4984	0.3285	0.3821	0.8672	nan	0.8909	0.9622	0.6104	0.8725	0.5427	nan	0.5603	0.8060	0.9490	nan	0.5338	0.9165	0.0	0.4398	0.2810	nan	0.3870	0.9239	0.8398	0.9537	0.0	0.0	0.3751	nan	0.7803	0.8865	0.5464	0.8127	0.4178	nan	0.4462	0.6088	0.8397	nan	0.4671	0.7292	0.0	0.3445	0.2352	nan	0.3071	0.8419	0.7374	0.9037	0.0	0.0	0.2799
0.2724	30.0	1500	0.5030	0.3375	0.3970	0.8699	nan	0.8602	0.9653	0.5857	0.8991	0.5570	nan	0.6176	0.8335	0.9490	nan	0.6118	0.8834	0.0	0.5454	0.4152	nan	0.4468	0.9323	0.8584	0.9619	0.0129	0.0044	0.3683	nan	0.7672	0.8932	0.5331	0.7681	0.4659	nan	0.4744	0.6194	0.8559	nan	0.5150	0.7431	0.0	0.3743	0.3207	nan	0.3420	0.8460	0.7431	0.9113	0.0109	0.0024	0.2756
0.2573	40.0	2000	0.5071	0.3410	0.4013	0.8711	nan	0.8665	0.9641	0.5698	0.9008	0.5656	nan	0.6239	0.8238	0.9554	nan	0.6063	0.8794	0.0491	0.5325	0.4088	nan	0.4805	0.9293	0.8622	0.9639	0.0134	0.0089	0.4358	nan	0.7735	0.8969	0.5057	0.7822	0.4407	nan	0.4920	0.6306	0.8590	nan	0.4998	0.7457	0.0451	0.3710	0.3274	nan	0.3690	0.8468	0.7403	0.9150	0.0099	0.0049	0.3153
0.2997	50.0	2500	0.5041	0.3425	0.4000	0.8735	nan	0.8915	0.9632	0.5369	0.8945	0.5757	nan	0.6197	0.8098	0.9559	nan	0.5943	0.8870	0.0755	0.5240	0.4137	nan	0.4666	0.9278	0.8655	0.9629	0.0197	0.0120	0.4024	nan	0.7833	0.8989	0.4792	0.8079	0.4573	nan	0.4863	0.6326	0.8576	nan	0.5047	0.7497	0.0679	0.3758	0.3306	nan	0.3653	0.8475	0.7425	0.9155	0.0144	0.0056	0.2942

Framework versions

Transformers 4.38.1
Pytorch 2.2.1+cu118
Datasets 2.17.1
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: SegformerForSemanticSegmentation
Ревизия весов: 4944712