Характеристики

Лицензия: Своя лицензия
Архитектура: segformer · dense
Базовая модель: segformer-b4-finetuned-ade-512-512
Опубликована: 6 мар 2024

Ссылки

segformer-b4-ade-finetuned-coastTrain

Сегментация изображенийИзображение → mask3 профессии

SegFormer B4, дообученная для пиксельной сегментации прибрежных изображений на воду, пену, осадки, растительность и другие классы.

12скачиваний за 30 дней0лайковвеса обновлены6 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель peldrak/segformer-b4-ade-finetuned-coastTrain — сегментатор изображений на архитектуре SegFormer B4, разработанный пользователем peldrak и дообученный на наборе данных peldrak/coastTrain поверх nvidia/segformer-b4-finetuned-ade-512-512. Она предназначена для семантической сегментации прибрежных сцен: каждому пикселю присваивается класс воды, белой пены прибоя, осадка, другого природного рельефа, растительности, застройки или неизвестной области.

На оценочной выборке указаны mean IoU 0,7615 и общая точность 0,9286. Результаты неоднородны: IoU для воды составляет 0,9253, а для белой пены — 0,4607, поэтому распознавание пены заметно слабее. Модель принимает изображения и выдаёт карту семантических классов. Лицензия указана как other; конкретные условия использования следует сверить с репозиторием модели и базовой модели.

Сценарии применения

сегментация воды и береговой линии на снимках побережья
разметка белой пены прибоя на изображениях
выделение осадков, растительности и застройки в прибрежных сценах
подготовка семантических масок для анализа прибрежных изображений

Ограничения

На оценочной выборке распознавание белой пены существенно слабее других классов: IoU 0,4607 против 0,9253 для воды. Условия лицензии с пометкой other следует проверять в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

segformer-b4-ade-finetuned-coastTrain

This model is a fine-tuned version of nvidia/segformer-b4-finetuned-ade-512-512 on the peldrak/coastTrain dataset. It achieves the following results on the evaluation set:

Loss: 0.2784
Mean Iou: 0.7615
Mean Accuracy: 0.8569
Overall Accuracy: 0.9286
Accuracy Water: 0.9717
Accuracy Whitewater: 0.5408
Accuracy Sediment: 0.9245
Accuracy Other Natural Terrain: 0.8160
Accuracy Vegetation: 0.8979
Accuracy Development: 0.9242
Accuracy Unknown: 0.9232
Iou Water: 0.9253
Iou Whitewater: 0.4607
Iou Sediment: 0.8453
Iou Other Natural Terrain: 0.5582
Iou Vegetation: 0.8460
Iou Development: 0.8152
Iou Unknown: 0.8799
F1 Score: 0.9283

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 6e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Accuracy Water	Accuracy Whitewater	Accuracy Sediment	Accuracy Other Natural Terrain	Accuracy Vegetation	Accuracy Development	Accuracy Unknown	Iou Water	Iou Whitewater	Iou Sediment	Iou Other Natural Terrain	Iou Vegetation	Iou Development	Iou Unknown	F1 Score
1.663	0.16	20	1.5090	0.4228	0.5280	0.7404	0.7454	0.1290	0.6594	0.0007	0.9158	0.4431	0.8027	0.7085	0.0661	0.5003	0.0006	0.5240	0.3651	0.7953	0.7435
1.4278	0.31	40	1.1477	0.4735	0.5606	0.8162	0.9166	0.0018	0.7142	0.0000	0.8720	0.5680	0.8513	0.8291	0.0018	0.5805	0.0000	0.6259	0.4328	0.8441	0.8075
1.5096	0.47	60	0.8839	0.4469	0.5277	0.7917	0.8650	0.0000	0.5808	0.0	0.9654	0.4206	0.8618	0.8144	0.0000	0.5120	0.0	0.5659	0.3769	0.8589	0.7834
1.2289	0.62	80	0.7240	0.4889	0.5772	0.8285	0.9213	0.0010	0.7241	0.0	0.8451	0.6604	0.8885	0.8586	0.0010	0.6189	0.0	0.6392	0.4241	0.8807	0.8226
0.7603	0.78	100	0.5905	0.5238	0.6004	0.8575	0.9406	0.0008	0.7086	0.0	0.9081	0.7470	0.8978	0.8633	0.0008	0.6391	0.0	0.6927	0.5817	0.8892	0.8479
1.1379	0.93	120	0.5625	0.5427	0.6168	0.8713	0.9660	0.0028	0.6806	0.0	0.8917	0.8819	0.8947	0.8537	0.0028	0.6139	0.0	0.7520	0.6952	0.8813	0.8597
0.7824	1.09	140	0.5163	0.5320	0.6100	0.8653	0.9728	0.0001	0.6368	0.0	0.8720	0.8917	0.8963	0.8734	0.0001	0.6084	0.0	0.7073	0.6440	0.8911	0.8541
0.6537	1.24	160	0.4595	0.5526	0.6278	0.8782	0.9497	0.0001	0.7542	0.0	0.9018	0.8883	0.9004	0.8791	0.0001	0.6505	0.0	0.7401	0.7045	0.8938	0.8682
0.7204	1.4	180	0.4031	0.5593	0.6379	0.8834	0.9572	0.0004	0.8028	0.0	0.8648	0.9356	0.9048	0.8913	0.0004	0.7384	0.0	0.7428	0.6471	0.8950	0.8746
0.663	1.55	200	0.4097	0.5592	0.6383	0.8813	0.9777	0.0	0.8640	0.0	0.8036	0.9289	0.8937	0.8718	0.0	0.7381	0.0	0.7349	0.6829	0.8869	0.8710
0.4566	1.71	220	0.3912	0.5598	0.6405	0.8813	0.9515	0.0011	0.8262	0.0	0.8494	0.9577	0.8973	0.8743	0.0011	0.7426	0.0	0.7405	0.6706	0.8895	0.8722
1.4951	1.86	240	0.3756	0.5566	0.6419	0.8804	0.9674	0.0006	0.8683	0.0	0.7963	0.9635	0.8971	0.8869	0.0006	0.7625	0.0	0.7352	0.6198	0.8909	0.8721
0.6232	2.02	260	0.3842	0.5650	0.6357	0.8869	0.9528	0.0014	0.7446	0.0	0.9224	0.9236	0.9049	0.8897	0.0014	0.6955	0.0	0.7485	0.7258	0.8940	0.8767
1.0104	2.17	280	0.3335	0.5791	0.6489	0.8974	0.9719	0.0028	0.8548	0.0	0.8796	0.9284	0.9049	0.8934	0.0028	0.7673	0.0	0.7825	0.7165	0.8912	0.8872
0.4107	2.33	300	0.3663	0.5642	0.6456	0.8855	0.9677	0.0023	0.8966	0.0	0.8048	0.9413	0.9065	0.8765	0.0023	0.7372	0.0	0.7532	0.6814	0.8985	0.8758
0.3112	2.48	320	0.3318	0.5833	0.6553	0.9006	0.9668	0.0132	0.8693	0.0	0.8855	0.9475	0.9047	0.9026	0.0132	0.7776	0.0	0.7936	0.6974	0.8991	0.8912
0.6679	2.64	340	0.3357	0.5840	0.6520	0.8979	0.9620	0.0109	0.8876	0.0008	0.8768	0.9071	0.9187	0.8819	0.0109	0.7585	0.0008	0.8002	0.7742	0.8611	0.8873
0.6522	2.79	360	0.3201	0.5850	0.6559	0.9015	0.9703	0.0209	0.8589	0.0010	0.8874	0.9440	0.9088	0.9037	0.0208	0.7665	0.0010	0.8052	0.7186	0.8794	0.8917
0.569	2.95	380	0.3227	0.5899	0.6592	0.9000	0.9738	0.0292	0.8709	0.0294	0.8731	0.9292	0.9086	0.8907	0.0291	0.7557	0.0294	0.8057	0.7445	0.8744	0.8902
0.5766	3.1	400	0.3537	0.5747	0.6401	0.8907	0.9663	0.0301	0.7411	0.0043	0.9260	0.9117	0.9013	0.8742	0.0300	0.7095	0.0043	0.7776	0.7304	0.8966	0.8804
1.1582	3.26	420	0.3125	0.6175	0.6767	0.9030	0.9783	0.0329	0.8699	0.1886	0.9039	0.8574	0.9059	0.8795	0.0325	0.7877	0.1879	0.8158	0.7437	0.8757	0.8948
0.4788	3.41	440	0.2963	0.6457	0.7017	0.9145	0.9791	0.0397	0.9018	0.2594	0.9025	0.9140	0.9151	0.8995	0.0394	0.8221	0.2566	0.8277	0.8050	0.8697	0.9069
0.2278	3.57	460	0.3154	0.6225	0.6920	0.9049	0.9683	0.1006	0.8834	0.1576	0.8780	0.9448	0.9116	0.9053	0.0996	0.7952	0.1573	0.8066	0.7248	0.8684	0.8983
0.4206	3.72	480	0.3235	0.5959	0.6553	0.9007	0.9666	0.0412	0.8435	0.0371	0.9305	0.8624	0.9060	0.9002	0.0411	0.7604	0.0371	0.7808	0.7811	0.8709	0.8912
0.3314	3.88	500	0.3323	0.6125	0.6802	0.9019	0.9602	0.1699	0.8257	0.0432	0.9168	0.9415	0.9039	0.9100	0.1663	0.7722	0.0432	0.7877	0.7446	0.8636	0.8949
0.8233	4.03	520	0.3092	0.6410	0.7039	0.9085	0.9714	0.1106	0.8881	0.2342	0.8985	0.9205	0.9042	0.9026	0.1083	0.7966	0.2326	0.8114	0.7720	0.8636	0.9022
0.3436	4.19	540	0.3070	0.6464	0.7064	0.9100	0.9816	0.1226	0.9199	0.2470	0.8824	0.8815	0.9098	0.8936	0.1205	0.7881	0.2408	0.8151	0.7747	0.8918	0.9039
0.3504	4.34	560	0.3084	0.6827	0.7459	0.9151	0.9749	0.2036	0.9063	0.4067	0.8906	0.9284	0.9107	0.9071	0.1971	0.8147	0.3798	0.8225	0.7894	0.8686	0.9111
0.3461	4.5	580	0.3091	0.7164	0.8006	0.9183	0.9687	0.3107	0.8787	0.6910	0.8991	0.9385	0.9177	0.9184	0.2873	0.8206	0.5133	0.8230	0.7781	0.8740	0.9166
0.9608	4.65	600	0.2973	0.6896	0.7680	0.9130	0.9772	0.2477	0.8727	0.5473	0.8849	0.9410	0.9055	0.9072	0.2363	0.8040	0.4150	0.8202	0.7792	0.8653	0.9101
0.2724	4.81	620	0.2947	0.7055	0.7860	0.9169	0.9732	0.3313	0.9060	0.5587	0.8825	0.9406	0.9096	0.9133	0.3037	0.8241	0.4199	0.8221	0.7875	0.8681	0.9149
0.2541	4.96	640	0.2897	0.7142	0.7929	0.9184	0.9748	0.3398	0.8850	0.6015	0.8874	0.9459	0.9163	0.9156	0.3142	0.8310	0.4651	0.8228	0.7766	0.8740	0.9166
1.337	5.12	660	0.2950	0.7033	0.7721	0.9169	0.9612	0.3796	0.9062	0.3990	0.8976	0.9436	0.9178	0.9159	0.3526	0.8199	0.3732	0.8226	0.7638	0.8749	0.9148
0.3685	5.27	680	0.2714	0.7369	0.8200	0.9227	0.9741	0.3947	0.8746	0.7536	0.9208	0.9100	0.9123	0.9194	0.3485	0.8370	0.5641	0.8375	0.7705	0.8815	0.9216
0.2901	5.43	700	0.2848	0.7373	0.8149	0.9230	0.9704	0.4050	0.9080	0.6911	0.9158	0.9008	0.9131	0.9206	0.3630	0.8271	0.5450	0.8393	0.7948	0.8710	0.9217
0.4242	5.58	720	0.2831	0.7343	0.8311	0.9195	0.9793	0.4392	0.8635	0.7955	0.8824	0.9400	0.9181	0.9140	0.3800	0.8157	0.5413	0.8335	0.7804	0.8752	0.9187
0.2186	5.74	740	0.2713	0.7400	0.8010	0.9250	0.9680	0.4074	0.9073	0.5905	0.9445	0.8784	0.9107	0.9197	0.3715	0.8330	0.5342	0.8387	0.8023	0.8810	0.9234
0.3729	5.89	760	0.2846	0.7528	0.8290	0.9233	0.9714	0.4906	0.8906	0.7037	0.9157	0.9274	0.9039	0.9199	0.4197	0.8272	0.6058	0.8448	0.7878	0.8641	0.9225
0.29	6.05	780	0.2979	0.7411	0.8274	0.9225	0.9746	0.4241	0.9098	0.7544	0.8959	0.9247	0.9085	0.9222	0.3765	0.8288	0.5630	0.8343	0.7957	0.8672	0.9215
0.1211	6.2	800	0.2962	0.7553	0.8266	0.9254	0.9722	0.4567	0.9034	0.7216	0.9218	0.8951	0.9153	0.9200	0.4076	0.8367	0.6068	0.8400	0.8034	0.8727	0.9242
0.2875	6.36	820	0.3040	0.7576	0.8358	0.9249	0.9705	0.5281	0.8742	0.7028	0.9110	0.9454	0.9184	0.9234	0.4444	0.8312	0.5986	0.8388	0.7919	0.8746	0.9243
0.1761	6.51	840	0.2623	0.7577	0.8422	0.9288	0.9742	0.4691	0.9182	0.7958	0.9109	0.9022	0.9249	0.9227	0.4026	0.8441	0.5856	0.8486	0.8191	0.8815	0.9279
0.2962	6.67	860	0.2828	0.7498	0.8469	0.9231	0.9651	0.5313	0.8896	0.7981	0.9125	0.9153	0.9166	0.9213	0.4305	0.8172	0.5763	0.8463	0.7849	0.8724	0.9228
0.3504	6.82	880	0.2912	0.7437	0.8384	0.9219	0.9793	0.4609	0.8613	0.8330	0.9077	0.9174	0.9094	0.9122	0.3974	0.8246	0.5504	0.8378	0.8159	0.8678	0.9211
0.2496	6.98	900	0.2838	0.7476	0.8480	0.9239	0.9729	0.4970	0.8875	0.8454	0.9128	0.9111	0.9092	0.9211	0.4346	0.8324	0.5334	0.8433	0.8005	0.8678	0.9235
1.2185	7.13	920	0.3104	0.7466	0.8454	0.9201	0.9732	0.5344	0.8610	0.8031	0.8965	0.9391	0.9105	0.9215	0.4476	0.8078	0.5605	0.8257	0.7948	0.8687	0.9197
0.1779	7.29	940	0.3212	0.7591	0.8515	0.9252	0.9751	0.5615	0.8844	0.7893	0.8949	0.9314	0.9236	0.9219	0.4660	0.8250	0.5769	0.8376	0.8097	0.8769	0.9247
0.4705	7.44	960	0.2663	0.7504	0.8429	0.9243	0.9776	0.4934	0.8899	0.8011	0.8994	0.9268	0.9118	0.9159	0.4335	0.8278	0.5520	0.8401	0.7987	0.8846	0.9237
0.2637	7.6	980	0.2561	0.7639	0.8449	0.9289	0.9717	0.5314	0.8805	0.7593	0.9309	0.9236	0.9172	0.9271	0.4443	0.8284	0.6024	0.8461	0.8074	0.8916	0.9284
0.1961	7.75	1000	0.2712	0.7486	0.8598	0.9250	0.9780	0.5721	0.8804	0.8483	0.8995	0.9282	0.9119	0.9184	0.4402	0.8297	0.5164	0.8466	0.8043	0.8848	0.9252
1.0785	7.91	1020	0.2494	0.7586	0.8472	0.9308	0.9752	0.5247	0.9059	0.7655	0.9142	0.9169	0.9280	0.9263	0.4457	0.8448	0.5380	0.8490	0.7996	0.9071	0.9304
0.1453	8.06	1040	0.2792	0.7454	0.8519	0.9254	0.9704	0.5225	0.8913	0.8028	0.8936	0.9675	0.9153	0.9283	0.4321	0.8367	0.5213	0.8397	0.7497	0.9099	0.9261
0.2332	8.22	1060	0.2774	0.7452	0.8434	0.9242	0.9771	0.5126	0.9145	0.7857	0.8916	0.9063	0.9157	0.9221	0.4303	0.8100	0.5271	0.8311	0.7858	0.9097	0.9240
0.1902	8.37	1080	0.2779	0.7382	0.8500	0.9228	0.9830	0.5081	0.8918	0.8470	0.8739	0.9259	0.9205	0.9178	0.4154	0.8383	0.4896	0.8345	0.7778	0.8937	0.9230
0.2892	8.53	1100	0.2735	0.7535	0.8527	0.9275	0.9726	0.5405	0.8697	0.8180	0.9147	0.9236	0.9300	0.9293	0.4539	0.8253	0.5226	0.8400	0.8145	0.8886	0.9273
0.2251	8.68	1120	0.2626	0.7627	0.8536	0.9295	0.9781	0.5566	0.9106	0.7753	0.8922	0.9349	0.9273	0.9239	0.4522	0.8465	0.5699	0.8455	0.8062	0.8949	0.9291
0.1345	8.84	1140	0.2558	0.7676	0.8542	0.9296	0.9784	0.5649	0.9180	0.7797	0.9048	0.9185	0.9151	0.9205	0.4585	0.8451	0.5930	0.8489	0.8174	0.8900	0.9292
0.18	8.99	1160	0.2737	0.7628	0.8566	0.9288	0.9781	0.5295	0.9059	0.8418	0.9066	0.9190	0.9150	0.9207	0.4404	0.8533	0.5818	0.8542	0.8169	0.8726	0.9283
0.282	9.15	1180	0.2705	0.7734	0.8487	0.9310	0.9717	0.5354	0.9220	0.7588	0.9230	0.9135	0.9165	0.9265	0.4527	0.8522	0.6342	0.8563	0.8178	0.8736	0.9304
0.1688	9.3	1200	0.2770	0.7695	0.8663	0.9317	0.9705	0.5896	0.9098	0.8282	0.9125	0.9241	0.9295	0.9315	0.4659	0.8490	0.5848	0.8541	0.8173	0.8840	0.9316
0.1043	9.46	1220	0.2784	0.7615	0.8569	0.9286	0.9717	0.5408	0.9245	0.8160	0.8979	0.9242	0.9232	0.9253	0.4607	0.8453	0.5582	0.8460	0.8152	0.8799	0.9283

Framework versions

Transformers 4.38.1
Pytorch 2.1.2
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: SegformerForSemanticSegmentation
Ревизия весов: 717a1d7