Характеристики

Лицензия: Своя лицензия
Архитектура: segformer · dense
Базовая модель: segformer-b4-finetuned-cityscapes-1024-1024
Опубликована: 2 мар 2024

Ссылки

segformer-b4-cityscapes-finetuned-coastTrain

Сегментация изображенийИзображение → mask3 профессии

SegFormer-B4, дообученная для попиксельной сегментации прибрежных изображений на классы воды, волн, природных поверхностей и застройки.

11скачиваний за 30 дней0лайковвеса обновлены6 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель семантической сегментации изображений на основе SegFormer-B4, дообученная автором репозитория peldrak на наборе данных peldrak/coastTrain. Она предназначена для попиксельного анализа прибрежных сцен: модель различает воду, белую пену волн, осадочные породы, другие природные поверхности, растительность, застройку и неизвестные области. В метаданных указана базовая модель nvidia/segformer-b4-finetuned-cityscapes-1024-1024, формат весов — safetensors, лицензия — other.

На оценочном наборе указаны mean IoU 0,792 и общая точность 0,936. Результаты различаются по классам: IoU белой пены волн составляет 0,520, а воды — 0,919, поэтому качество зависит от типа поверхности. Карточка не сообщает дополнительных сведений о целевом разрешении, условиях эксплуатации или ограничениях.

Сценарии применения

Выделение воды на снимках побережья
Разметка белой пены волн на прибрежных изображениях
Сегментация осадочных и природных поверхностей
Определение растительности и застройки в прибрежной зоне

Ограничения

На оценочном наборе качество сегментации белой пены волн и других природных поверхностей ниже, чем для воды и застройки. Лицензия обозначена как other; условия её использования следует уточнить у автора модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

segformer-b4-cityscapes-finetuned-coastTrain

This model is a fine-tuned version of nvidia/segformer-b4-finetuned-cityscapes-1024-1024 on the peldrak/coastTrain dataset. It achieves the following results on the evaluation set:

Loss: 0.2345
Mean Iou: 0.7920
Mean Accuracy: 0.8609
Overall Accuracy: 0.9360
Accuracy Water: 0.9603
Accuracy Whitewater: 0.6503
Accuracy Sediment: 0.8872
Accuracy Other Natural Terrain: 0.6902
Accuracy Vegetation: 0.9383
Accuracy Development: 0.9340
Accuracy Unknown: 0.9659
Iou Water: 0.9194
Iou Whitewater: 0.5196
Iou Sediment: 0.8231
Iou Other Natural Terrain: 0.6344
Iou Vegetation: 0.8728
Iou Development: 0.8571
Iou Unknown: 0.9179
F1 Score: 0.9354

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 6e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Accuracy Water	Accuracy Whitewater	Accuracy Sediment	Accuracy Other Natural Terrain	Accuracy Vegetation	Accuracy Development	Accuracy Unknown	Iou Water	Iou Whitewater	Iou Sediment	Iou Other Natural Terrain	Iou Vegetation	Iou Development	Iou Unknown	F1 Score
1.6229	0.16	20	1.5080	0.3461	0.4464	0.6629	0.7064	0.0117	0.3677	0.0094	0.9033	0.4311	0.6952	0.6022	0.0115	0.2505	0.0054	0.5058	0.3657	0.6818	0.6578
1.6972	0.31	40	1.1157	0.4168	0.5175	0.7412	0.7367	0.0	0.5983	0.0000	0.9738	0.5606	0.7528	0.6767	0.0	0.4343	0.0000	0.5731	0.4817	0.7519	0.7355
1.1969	0.47	60	0.8521	0.4777	0.5606	0.8157	0.8778	0.0001	0.5850	0.0000	0.9674	0.5962	0.8978	0.7865	0.0001	0.4970	0.0000	0.6699	0.4942	0.8960	0.8025
1.2209	0.62	80	0.6990	0.5024	0.6009	0.8277	0.8306	0.0	0.7406	0.0	0.9174	0.7970	0.9208	0.7942	0.0	0.5641	0.0	0.6800	0.5612	0.9175	0.8201
0.793	0.78	100	0.5543	0.5256	0.6016	0.8590	0.9409	0.0	0.6744	0.0	0.9365	0.7280	0.9312	0.8480	0.0	0.5903	0.0	0.7405	0.5737	0.9264	0.8458
1.1597	0.93	120	0.4957	0.5524	0.6231	0.8720	0.9201	0.0	0.7323	0.0	0.9560	0.8134	0.9401	0.8588	0.0	0.6428	0.0	0.7344	0.6976	0.9335	0.8602
0.689	1.09	140	0.4376	0.5692	0.6374	0.8844	0.9221	0.0	0.7930	0.0000	0.9586	0.8469	0.9411	0.8748	0.0	0.6899	0.0000	0.7542	0.7310	0.9348	0.8730
0.9423	1.24	160	0.3968	0.5715	0.6433	0.8882	0.9328	0.0000	0.8273	0.0	0.9201	0.8664	0.9564	0.8794	0.0000	0.6963	0.0	0.7687	0.7135	0.9424	0.8766
1.2176	1.4	180	0.3838	0.5673	0.6397	0.8811	0.9107	0.0000	0.7816	0.0	0.9461	0.8832	0.9561	0.8578	0.0000	0.6427	0.0	0.7728	0.7550	0.9429	0.8695
0.4714	1.55	200	0.4459	0.5380	0.6092	0.8570	0.9730	0.0	0.5500	0.0	0.8806	0.9121	0.9490	0.7998	0.0	0.4883	0.0	0.7722	0.7618	0.9442	0.8398
0.5087	1.71	220	0.4062	0.5677	0.6359	0.8827	0.9365	0.0008	0.7216	0.0	0.9511	0.8918	0.9499	0.8844	0.0008	0.6722	0.0	0.7302	0.7463	0.9402	0.8709
0.484	1.86	240	0.3121	0.5926	0.6518	0.9017	0.9688	0.0001	0.7858	0.0	0.9341	0.9243	0.9498	0.8788	0.0001	0.7236	0.0	0.8069	0.7972	0.9420	0.8886
0.443	2.02	260	0.3554	0.5811	0.6575	0.8904	0.8939	0.0001	0.8842	0.0	0.9316	0.9332	0.9599	0.8541	0.0001	0.6697	0.0	0.8205	0.7724	0.9512	0.8798
0.466	2.17	280	0.3265	0.5830	0.6553	0.8954	0.9347	0.0021	0.8131	0.0	0.9256	0.9487	0.9627	0.8786	0.0021	0.6993	0.0	0.7950	0.7566	0.9494	0.8833
0.7117	2.33	300	0.4096	0.5634	0.6494	0.8672	0.8367	0.0076	0.9133	0.0	0.9048	0.9233	0.9600	0.8000	0.0076	0.5985	0.0	0.8080	0.7798	0.9503	0.8595
0.3095	2.48	320	0.3111	0.5858	0.6494	0.8986	0.9655	0.0070	0.7517	0.0	0.9363	0.9210	0.9644	0.8850	0.0070	0.6808	0.0	0.8089	0.7790	0.9399	0.8851
0.3843	2.64	340	0.3076	0.6033	0.6589	0.9050	0.9648	0.0448	0.7872	0.0	0.9478	0.9052	0.9628	0.8786	0.0443	0.6973	0.0	0.8322	0.8187	0.9516	0.8924
0.4158	2.79	360	0.2985	0.5965	0.6553	0.9026	0.9557	0.0266	0.8130	0.0	0.9561	0.8939	0.9415	0.8820	0.0265	0.7245	0.0	0.8147	0.7892	0.9386	0.8903
0.3492	2.95	380	0.2709	0.6251	0.6863	0.9126	0.9524	0.1545	0.8818	0.0	0.9347	0.9218	0.9587	0.9003	0.1514	0.7515	0.0	0.8313	0.7895	0.9520	0.9026
0.2384	3.1	400	0.2531	0.6348	0.6950	0.9169	0.9541	0.1876	0.8731	0.0015	0.9446	0.9407	0.9632	0.9061	0.1830	0.7663	0.0015	0.8395	0.7944	0.9524	0.9071
0.2227	3.26	420	0.2772	0.6388	0.6939	0.9186	0.9648	0.1767	0.9028	0.0013	0.9230	0.9247	0.9637	0.9015	0.1735	0.7597	0.0013	0.8503	0.8312	0.9544	0.9087
0.6677	3.41	440	0.2861	0.6306	0.6874	0.9091	0.9640	0.1876	0.7780	0.0559	0.9635	0.9022	0.9610	0.8965	0.1838	0.7228	0.0558	0.8215	0.7825	0.9509	0.8996
0.3552	3.57	460	0.2795	0.6408	0.6945	0.9130	0.9641	0.2606	0.8234	0.0001	0.9487	0.8958	0.9690	0.8932	0.2536	0.7201	0.0001	0.8427	0.8204	0.9553	0.9032
0.3258	3.72	480	0.3075	0.6306	0.6891	0.9042	0.9730	0.2962	0.7091	0.0068	0.9628	0.9131	0.9625	0.8945	0.2617	0.6816	0.0068	0.8003	0.8150	0.9546	0.8939
0.4778	3.88	500	0.2449	0.6570	0.7137	0.9188	0.9583	0.2928	0.8807	0.0347	0.9383	0.9280	0.9633	0.9028	0.2768	0.7677	0.0347	0.8407	0.8223	0.9541	0.9106
0.4817	4.03	520	0.2365	0.6790	0.7381	0.9235	0.9611	0.4327	0.8871	0.0484	0.9393	0.9328	0.9651	0.9121	0.3866	0.7842	0.0483	0.8459	0.8230	0.9529	0.9165
0.3363	4.19	540	0.2273	0.6783	0.7315	0.9243	0.9635	0.4529	0.8805	0.0058	0.9546	0.8945	0.9685	0.9131	0.4101	0.7847	0.0058	0.8451	0.8339	0.9554	0.9163
0.4825	4.34	560	0.2615	0.6791	0.7482	0.9180	0.9406	0.5008	0.9124	0.0441	0.9206	0.9512	0.9675	0.8996	0.4385	0.7400	0.0441	0.8552	0.8198	0.9562	0.9119
0.3482	4.5	580	0.2336	0.6965	0.7537	0.9276	0.9695	0.4845	0.8611	0.1015	0.9492	0.9455	0.9648	0.9193	0.4258	0.7901	0.1006	0.8498	0.8349	0.9550	0.9215
0.5311	4.65	600	0.2592	0.6858	0.7484	0.9200	0.9477	0.4867	0.8797	0.0974	0.9463	0.9109	0.9703	0.9136	0.4329	0.7687	0.0970	0.8438	0.8232	0.9215	0.9142
0.3754	4.81	620	0.2345	0.7039	0.7629	0.9265	0.9641	0.5201	0.8692	0.1376	0.9387	0.9338	0.9769	0.9233	0.4557	0.7998	0.1369	0.8395	0.8404	0.9315	0.9211
0.236	4.96	640	0.2342	0.7061	0.7604	0.9268	0.9669	0.4754	0.8856	0.1790	0.9329	0.9039	0.9790	0.9218	0.4330	0.8088	0.1763	0.8374	0.8329	0.9327	0.9218
0.3496	5.12	660	0.2061	0.7264	0.7870	0.9313	0.9622	0.5779	0.9263	0.2075	0.9189	0.9404	0.9757	0.9243	0.5092	0.8247	0.2026	0.8525	0.8402	0.9315	0.9273
0.1729	5.27	680	0.2289	0.7086	0.7793	0.9245	0.9541	0.6032	0.8708	0.1744	0.9351	0.9392	0.9781	0.9202	0.4789	0.7981	0.1706	0.8377	0.8265	0.9282	0.9203
0.2636	5.43	700	0.2071	0.7739	0.8389	0.9335	0.9623	0.6448	0.8970	0.5348	0.9262	0.9396	0.9676	0.9245	0.5537	0.8125	0.4941	0.8551	0.8473	0.9304	0.9324
0.1594	5.58	720	0.2175	0.7447	0.8114	0.9284	0.9632	0.6275	0.8570	0.3850	0.9306	0.9383	0.9783	0.9172	0.5130	0.7999	0.3765	0.8467	0.8207	0.9389	0.9262
0.6799	5.74	740	0.1965	0.7704	0.8330	0.9379	0.9650	0.6576	0.9113	0.4469	0.9289	0.9430	0.9783	0.9303	0.5574	0.8353	0.4280	0.8695	0.8384	0.9338	0.9364
0.4955	5.89	760	0.2184	0.7480	0.8065	0.9318	0.9569	0.5099	0.9085	0.4344	0.9266	0.9255	0.9841	0.9146	0.4472	0.8109	0.4160	0.8654	0.8514	0.9308	0.9297
0.218	6.05	780	0.2025	0.7870	0.8508	0.9364	0.9678	0.5859	0.8690	0.6870	0.9368	0.9360	0.9732	0.9282	0.4918	0.8198	0.6437	0.8651	0.8324	0.9282	0.9355
0.4344	6.2	800	0.2128	0.7816	0.8399	0.9361	0.9620	0.6012	0.8908	0.5972	0.9446	0.9092	0.9743	0.9243	0.5193	0.8213	0.5626	0.8684	0.8520	0.9233	0.9350
0.5841	6.36	820	0.2412	0.7965	0.8614	0.9378	0.9587	0.6847	0.8888	0.6398	0.9360	0.9408	0.9808	0.9254	0.5838	0.8259	0.6002	0.8758	0.8440	0.9204	0.9371
0.3048	6.51	840	0.2336	0.7869	0.8580	0.9344	0.9576	0.6990	0.8928	0.6175	0.9281	0.9381	0.9728	0.9160	0.5612	0.8190	0.5724	0.8720	0.8484	0.9193	0.9337
0.2002	6.67	860	0.2373	0.7929	0.8605	0.9343	0.9512	0.6492	0.8691	0.6968	0.9424	0.9290	0.9861	0.9216	0.5520	0.8087	0.6401	0.8685	0.8437	0.9155	0.9337
0.2093	6.82	880	0.2335	0.7918	0.8528	0.9364	0.9649	0.6226	0.8682	0.6653	0.9414	0.9311	0.9758	0.9210	0.5272	0.8166	0.6269	0.8720	0.8550	0.9235	0.9355
0.1581	6.98	900	0.2279	0.7995	0.8786	0.9368	0.9509	0.7124	0.8959	0.7476	0.9347	0.9273	0.9812	0.9159	0.5266	0.8244	0.6672	0.8800	0.8627	0.9198	0.9367
0.1209	7.13	920	0.2432	0.7832	0.8475	0.9327	0.9548	0.5902	0.8897	0.6726	0.9357	0.9173	0.9725	0.9104	0.5047	0.8096	0.6187	0.8725	0.8463	0.9201	0.9319
0.1492	7.29	940	0.2345	0.7920	0.8609	0.9360	0.9603	0.6503	0.8872	0.6902	0.9383	0.9340	0.9659	0.9194	0.5196	0.8231	0.6344	0.8728	0.8571	0.9179	0.9354

Framework versions

Transformers 4.37.0
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: SegformerForSemanticSegmentation
Ревизия весов: b1902a4