Характеристики

Лицензия: Своя лицензия
Архитектура: segformer · dense
Базовая модель: mit-b0
Опубликована: 25 мар 2024

Ссылки

Hugging Face

Aerial-Drone-Image-Segmentation

Thalirajesh

Сегментация изображенийИзображение → mask3 профессии

Модель SegFormer B0 для пиксельной сегментации объектов на аэрофотоснимках с дронов.

263скачиваний за 30 дней14лайковвеса обновлены25 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Aerial-Drone-Image-Segmentation — модель семантической сегментации аэрофотоснимков, разработанная на основе nvidia/mit-b0 и дообученная для разметки изображений, полученных с дрона. Она использует архитектуру SegFormer B0 и принимает изображение, возвращая сегментационную маску с классами объектов по пикселям.

Модель подходит для анализа сцен с воздуха, например для выделения объектов и областей на кадрах с дрона. В README приведены результаты оценки: mean IoU около 0,28–0,30, mean accuracy около 0,37–0,39 и overall accuracy около 0,77–0,78; показатели по отдельным категориям сильно различаются, а для ряда категорий IoU равен нулю. Это указывает на неоднородное качество сегментации. Репозиторий содержит веса в формате safetensors; лицензия обозначена как other, поэтому условия использования следует проверить в карточке модели.

Сценарии применения

сегментация объектов на снимках с дронов
пиксельная разметка областей на аэрофотоснимках
анализ сцен, снятых с воздуха
выделение классов объектов на кадрах с дрона

Ограничения

Метрики оценки показывают невысокое среднее качество и сильный разброс по категориям: для нескольких классов IoU равен нулю. Лицензия указана как other, поэтому перед использованием нужно проверить её условия.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Aerial-Drone-Image-Segmentation

This model is a fine-tuned version of nvidia/mit-b0 It achieves the following results on the evaluation set:

Loss: 0.8852
Mean Iou: 0.2994
Mean Accuracy: 0.3923
Overall Accuracy: 0.7774

Model description

More information needed

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 24
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 50

Evaluation Results

{'mean_iou': 0.27989828118195953,
 'mean_accuracy': 0.3712316062110093,
 'overall_accuracy': 0.7671712239583334,
 'per_category_iou': array([       nan, 0.8560476 , 0.32234631, 0.76880948, 0.57517691,
        0.43877125, 0.00114888, 0.14091442, 0.51807365, 0.76964765,
        0.27391949, 0.        , 0.        , 0.        , 0.        ,
        0.05778175, 0.        , 0.45566807, 0.        , 0.25864545,
        0.48767764, 0.        , 0.23313364,        nan]),
 'per_category_accuracy': array([       nan, 0.96170675, 0.43993514, 0.86977593, 0.8149788 ,
        0.49739671, 0.00114987, 0.14445379, 0.80978302, 0.88661108,
        0.46787116, 0.        , 0.        , 0.        , 0.        ,
        0.05947339, 0.        , 0.55639324, 0.        , 0.38358184,
        0.761303  , 0.        , 0.51268161,        nan])}

Training results

image/png

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy
2.7923	1.25	20	2.8338	0.0954	0.1626	0.5529
2.219	2.5	40	2.1391	0.1036	0.1666	0.5929
1.9451	3.75	60	1.7919	0.1154	0.1782	0.6129
1.7558	5.0	80	1.6767	0.1300	0.1961	0.6396
1.6381	6.25	100	1.5817	0.1383	0.2055	0.6550
1.5338	7.5	120	1.4816	0.1464	0.2140	0.6729
1.4478	8.75	140	1.4231	0.1529	0.2219	0.6823
1.361	10.0	160	1.3300	0.1637	0.2315	0.6975
1.306	11.25	180	1.3034	0.1737	0.2419	0.7060
1.2611	12.5	200	1.2692	0.1755	0.2450	0.7093
1.2317	13.75	220	1.2190	0.1821	0.2501	0.7145
1.1868	15.0	240	1.2063	0.1862	0.2539	0.7188
1.1628	16.25	260	1.1832	0.1909	0.2612	0.7234
1.1149	17.5	280	1.1368	0.2048	0.2739	0.7317
1.1009	18.75	300	1.1117	0.2232	0.2938	0.7387
1.0532	20.0	320	1.0923	0.2315	0.2997	0.7414
1.0464	21.25	340	1.0821	0.2408	0.3147	0.7480
1.0278	22.5	360	1.0541	0.2517	0.3277	0.7530
0.9945	23.75	380	1.0352	0.2612	0.3398	0.7573
0.9729	25.0	400	1.0207	0.2671	0.3511	0.7609
0.9527	26.25	420	1.0067	0.2684	0.3547	0.7609
0.9494	27.5	440	0.9870	0.2713	0.3548	0.7627
0.9287	28.75	460	0.9729	0.2745	0.3619	0.7640
0.9089	30.0	480	0.9561	0.2791	0.3640	0.7680
0.9064	31.25	500	0.9500	0.2799	0.3712	0.7672
0.8681	32.5	520	0.9397	0.2845	0.3749	0.7696
0.8677	33.75	540	0.9340	0.2835	0.3737	0.7692
0.8663	35.0	560	0.9243	0.2862	0.3755	0.7716
0.8629	36.25	580	0.9173	0.2869	0.3766	0.7719
0.8542	37.5	600	0.9112	0.2908	0.3810	0.7740
0.8391	38.75	620	0.9050	0.2904	0.3812	0.7734
0.8392	40.0	640	0.9027	0.2917	0.3818	0.7734
0.8306	41.25	660	0.8949	0.2941	0.3841	0.7755
0.8213	42.5	680	0.8936	0.2958	0.3875	0.7760
0.8406	43.75	700	0.8910	0.2964	0.3879	0.7763
0.8254	45.0	720	0.8889	0.2981	0.3897	0.7764
0.8202	46.25	740	0.8880	0.2985	0.3917	0.7767
0.8013	47.5	760	0.8891	0.2989	0.3923	0.7767
0.8188	48.75	780	0.8861	0.2994	0.3926	0.7772
0.8089	50.0	800	0.8852	0.2994	0.3923	0.7774

Framework versions

Transformers 4.38.1
Pytorch 2.1.2
Datasets 2.1.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: SegformerForSemanticSegmentation
Ревизия весов: fb5d31d