Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель JCAI2000/segformer-b5-finetuned-100by100PNG-50epochs-attempt2-100epochs-backgroundclass-2 — дообученная на датасете JCAI2000/100By100BranchPNG модель SegFormer B5 для семантической сегментации изображений. Она размечает пиксели на классы «фон» и «ветка» и подходит для анализа изображений с ветвями на фоне.

В README приведены результаты на оценочной выборке: mean IoU 0,8933, mean accuracy 0,9531 и overall accuracy 0,9662. Точность для фона составляет 0,9732, для ветки — 0,9330; IoU для этих классов — 0,9597 и 0,8270 соответственно. Модель распространяется в формате PyTorch под лицензией other; условия этой лицензии следует проверить перед использованием.

Сценарии применения

выделение ветвей на изображениях
сегментация фона и ветвей на изображениях размером 100×100 пикселей
подсчёт или анализ площади ветвей по пиксельной маске

Ограничения

Показатели приведены только для оценочной выборки указанного датасета и не гарантируют такое же качество на других изображениях. README не описывает обучающие данные и условия применения подробнее; лицензия указана как other.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

segformer-b3-finetuned-100by100PNG-50epochs-attempt2-100epochs-backgroundclass

This model is a fine-tuned version of nvidia/mit-b5 on the JCAI2000/100By100BranchPNG dataset. It achieves the following results on the evaluation set:

Loss: 0.1497
Mean Iou: 0.8933
Mean Accuracy: 0.9531
Overall Accuracy: 0.9662
Accuracy Background: 0.9732
Accuracy Branch: 0.9330
Iou Background: 0.9597
Iou Branch: 0.8270

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 6e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Accuracy Background	Accuracy Branch	Iou Background	Iou Branch
0.2055	1.05	20	0.2925	0.8151	0.9469	0.9320	0.9242	0.9695	0.9183	0.7118
0.1549	2.11	40	0.1328	0.8802	0.9311	0.9628	0.9796	0.8825	0.9561	0.8043
0.0735	3.16	60	0.1178	0.8804	0.9512	0.9613	0.9666	0.9357	0.9538	0.8070
0.0636	4.21	80	0.0844	0.8966	0.9368	0.9686	0.9854	0.8881	0.9629	0.8303
0.0546	5.26	100	0.1099	0.8969	0.9526	0.9676	0.9756	0.9297	0.9614	0.8325
0.0567	6.32	120	0.1012	0.8996	0.9500	0.9688	0.9788	0.9213	0.9629	0.8364
0.0515	7.37	140	0.1137	0.8935	0.9462	0.9668	0.9777	0.9147	0.9605	0.8265
0.052	8.42	160	0.0987	0.8914	0.9317	0.9670	0.9858	0.8776	0.9611	0.8217
0.0358	9.47	180	0.1167	0.8978	0.9581	0.9676	0.9726	0.9435	0.9613	0.8344
0.0254	10.53	200	0.0767	0.9111	0.9519	0.9729	0.9840	0.9197	0.9678	0.8545
0.0483	11.58	220	0.0953	0.9037	0.9524	0.9701	0.9795	0.9253	0.9645	0.8429
0.0285	12.63	240	0.0904	0.9026	0.9490	0.9700	0.9811	0.9169	0.9643	0.8409
0.0389	13.68	260	0.0902	0.9025	0.9472	0.9701	0.9821	0.9123	0.9644	0.8406
0.0473	14.74	280	0.0852	0.9084	0.9522	0.9719	0.9823	0.9220	0.9665	0.8502
0.0266	15.79	300	0.0983	0.8985	0.9409	0.9690	0.9839	0.8979	0.9633	0.8337
0.0233	16.84	320	0.0965	0.9052	0.9601	0.9702	0.9756	0.9447	0.9644	0.8460
0.0257	17.89	340	0.0941	0.9039	0.9550	0.9701	0.9781	0.9319	0.9643	0.8434
0.0352	18.95	360	0.0855	0.9043	0.9483	0.9706	0.9824	0.9142	0.9651	0.8435
0.1941	20.0	380	0.0946	0.9045	0.9509	0.9706	0.9809	0.9210	0.9650	0.8441
0.0325	21.05	400	0.0972	0.8973	0.9449	0.9683	0.9807	0.9092	0.9624	0.8323
0.0159	22.11	420	0.0828	0.9081	0.9528	0.9717	0.9817	0.9239	0.9664	0.8498
0.0175	23.16	440	0.1061	0.8995	0.9491	0.9688	0.9793	0.9188	0.9629	0.8360
0.0281	24.21	460	0.1090	0.8969	0.9516	0.9677	0.9761	0.9271	0.9615	0.8323
0.0177	25.26	480	0.1122	0.8983	0.9547	0.9680	0.9750	0.9343	0.9618	0.8347
0.0228	26.32	500	0.1088	0.8957	0.9546	0.9670	0.9736	0.9357	0.9606	0.8307
0.0348	27.37	520	0.0933	0.9059	0.9524	0.9710	0.9808	0.9241	0.9654	0.8464
0.0177	28.42	540	0.1053	0.9025	0.9527	0.9697	0.9787	0.9268	0.9639	0.8411
0.0182	29.47	560	0.1039	0.8992	0.9473	0.9688	0.9802	0.9143	0.9630	0.8355
0.0171	30.53	580	0.1117	0.8991	0.9555	0.9682	0.9750	0.9360	0.9621	0.8361
0.0275	31.58	600	0.1142	0.8935	0.9497	0.9665	0.9754	0.9241	0.9601	0.8268
0.0186	32.63	620	0.1065	0.9024	0.9524	0.9697	0.9788	0.9261	0.9639	0.8408
0.0173	33.68	640	0.1081	0.8986	0.9529	0.9682	0.9764	0.9294	0.9621	0.8351
0.015	34.74	660	0.1243	0.8935	0.9530	0.9663	0.9733	0.9327	0.9598	0.8272
0.0183	35.79	680	0.1120	0.9005	0.9500	0.9691	0.9792	0.9209	0.9633	0.8377
0.0248	36.84	700	0.1185	0.8962	0.9517	0.9674	0.9757	0.9277	0.9611	0.8312
0.0104	37.89	720	0.1136	0.8975	0.9506	0.9680	0.9771	0.9241	0.9619	0.8332
0.0481	38.95	740	0.1127	0.9010	0.9528	0.9691	0.9778	0.9277	0.9632	0.8388
0.0153	40.0	760	0.1101	0.9019	0.9537	0.9694	0.9777	0.9297	0.9635	0.8402
0.0143	41.05	780	0.1105	0.9032	0.9558	0.9698	0.9771	0.9345	0.9639	0.8425
0.0104	42.11	800	0.1122	0.8986	0.9428	0.9689	0.9827	0.9028	0.9631	0.8340
0.0172	43.16	820	0.1097	0.9041	0.9540	0.9702	0.9788	0.9291	0.9645	0.8437
0.0371	44.21	840	0.1064	0.9011	0.9503	0.9693	0.9794	0.9212	0.9635	0.8387
0.0221	45.26	860	0.1150	0.9004	0.9515	0.9690	0.9783	0.9247	0.9631	0.8377
0.0186	46.32	880	0.1228	0.8958	0.9518	0.9672	0.9754	0.9282	0.9610	0.8306
0.0119	47.37	900	0.1205	0.8980	0.9525	0.9680	0.9762	0.9288	0.9619	0.8340
0.0113	48.42	920	0.1133	0.8998	0.9502	0.9688	0.9787	0.9216	0.9629	0.8366
0.0121	49.47	940	0.1145	0.8993	0.9490	0.9688	0.9792	0.9188	0.9629	0.8358
0.0263	50.53	960	0.1168	0.8977	0.9542	0.9678	0.9750	0.9334	0.9616	0.8338
0.0093	51.58	980	0.1213	0.8940	0.9534	0.9664	0.9733	0.9334	0.9600	0.8280
0.0193	52.63	1000	0.1241	0.8971	0.9507	0.9678	0.9769	0.9246	0.9617	0.8326
0.0139	53.68	1020	0.1263	0.8962	0.9546	0.9672	0.9739	0.9353	0.9609	0.8316
0.012	54.74	1040	0.1252	0.8952	0.9504	0.9671	0.9760	0.9247	0.9609	0.8296
0.008	55.79	1060	0.1219	0.8986	0.9516	0.9683	0.9772	0.9260	0.9623	0.8349
0.0092	56.84	1080	0.1290	0.8995	0.9552	0.9684	0.9754	0.9349	0.9623	0.8366
0.015	57.89	1100	0.1243	0.8989	0.9545	0.9682	0.9755	0.9335	0.9621	0.8358
0.0126	58.95	1120	0.1214	0.8977	0.9541	0.9678	0.9751	0.9331	0.9616	0.8337
0.0212	60.0	1140	0.1298	0.8953	0.9542	0.9669	0.9736	0.9347	0.9605	0.8301
0.0192	61.05	1160	0.1341	0.8930	0.9518	0.9661	0.9737	0.9299	0.9597	0.8262
0.0136	62.11	1180	0.1327	0.8970	0.9528	0.9676	0.9754	0.9302	0.9614	0.8325
0.0131	63.16	1200	0.1233	0.8997	0.9549	0.9685	0.9757	0.9340	0.9624	0.8369
0.0135	64.21	1220	0.1301	0.8957	0.9542	0.9670	0.9738	0.9345	0.9607	0.8307
0.0228	65.26	1240	0.1274	0.8979	0.9524	0.9680	0.9762	0.9285	0.9618	0.8339
0.0138	66.32	1260	0.1336	0.8965	0.9520	0.9675	0.9757	0.9283	0.9613	0.8318
0.0127	67.37	1280	0.1278	0.8980	0.9519	0.9681	0.9767	0.9271	0.9620	0.8341
0.0107	68.42	1300	0.1293	0.8970	0.9530	0.9676	0.9753	0.9308	0.9614	0.8327
0.0278	69.47	1320	0.1413	0.8926	0.9534	0.9659	0.9725	0.9343	0.9593	0.8258
0.0159	70.53	1340	0.1360	0.8953	0.9522	0.9670	0.9748	0.9296	0.9607	0.8298
0.0105	71.58	1360	0.1319	0.8972	0.9537	0.9676	0.9750	0.9324	0.9614	0.8330
0.0168	72.63	1380	0.1343	0.8942	0.9533	0.9665	0.9735	0.9331	0.9601	0.8283
0.0156	73.68	1400	0.1357	0.8950	0.9516	0.9669	0.9751	0.9281	0.9606	0.8294
0.0109	74.74	1420	0.1446	0.8905	0.9524	0.9652	0.9719	0.9328	0.9585	0.8226
0.0168	75.79	1440	0.1339	0.8958	0.9533	0.9671	0.9745	0.9320	0.9608	0.8308
0.0252	76.84	1460	0.1355	0.8935	0.9532	0.9662	0.9731	0.9333	0.9597	0.8272
0.0109	77.89	1480	0.1388	0.8932	0.9533	0.9661	0.9729	0.9338	0.9596	0.8267
0.0109	78.95	1500	0.1404	0.8924	0.9519	0.9659	0.9734	0.9305	0.9594	0.8255
0.0112	80.0	1520	0.1424	0.8921	0.9535	0.9657	0.9722	0.9349	0.9591	0.8251
0.0094	81.05	1540	0.1451	0.8924	0.9524	0.9659	0.9730	0.9317	0.9593	0.8254
0.007	82.11	1560	0.1457	0.8931	0.9527	0.9661	0.9732	0.9322	0.9596	0.8266
0.0119	83.16	1580	0.1424	0.8927	0.9520	0.9661	0.9735	0.9306	0.9595	0.8259
0.0153	84.21	1600	0.1535	0.8909	0.9530	0.9653	0.9718	0.9342	0.9586	0.8233
0.0104	85.26	1620	0.1452	0.8921	0.9529	0.9658	0.9725	0.9333	0.9592	0.8251
0.0101	86.32	1640	0.1503	0.8910	0.9536	0.9653	0.9714	0.9358	0.9586	0.8235
0.009	87.37	1660	0.1508	0.8925	0.9532	0.9659	0.9725	0.9339	0.9593	0.8257
0.0073	88.42	1680	0.1419	0.8949	0.9528	0.9668	0.9742	0.9315	0.9604	0.8293
0.0137	89.47	1700	0.1437	0.8942	0.9526	0.9666	0.9739	0.9313	0.9601	0.8282
0.0061	90.53	1720	0.1474	0.8928	0.9523	0.9660	0.9733	0.9313	0.9595	0.8260
0.0132	91.58	1740	0.1408	0.8935	0.9522	0.9663	0.9738	0.9306	0.9598	0.8271
0.0089	92.63	1760	0.1468	0.8933	0.9527	0.9662	0.9734	0.9320	0.9597	0.8268
0.0141	93.68	1780	0.1458	0.8930	0.9529	0.9661	0.9731	0.9328	0.9596	0.8265
0.0132	94.74	1800	0.1442	0.8934	0.9528	0.9662	0.9733	0.9324	0.9597	0.8270
0.0109	95.79	1820	0.1445	0.8928	0.9529	0.9660	0.9730	0.9327	0.9595	0.8262
0.0248	96.84	1840	0.1391	0.8938	0.9529	0.9664	0.9736	0.9322	0.9599	0.8276
0.0074	97.89	1860	0.1424	0.8938	0.9531	0.9664	0.9735	0.9327	0.9599	0.8277
0.0072	98.95	1880	0.1465	0.8931	0.9534	0.9661	0.9728	0.9339	0.9596	0.8266
0.0183	100.0	1900	0.1497	0.8933	0.9531	0.9662	0.9732	0.9330	0.9597	0.8270

Framework versions

Transformers 4.33.0
Pytorch 2.0.1+cu117
Datasets 2.14.4
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: SegformerForSemanticSegmentation
Ревизия весов: 0e60cf5

Характеристики

Ссылки

segformer-b5-finetuned-100by100PNG-50epochs-attempt2-100epochs-backgroundclass-2

Бенчмарки

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

segformer-b3-finetuned-100by100PNG-50epochs-attempt2-100epochs-backgroundclass

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить