Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ArrayDice/Super_Detection_Model2 — дообученная модель обнаружения объектов на базе ArrayDice/Super_Detection_Model, построенная на архитектуре DETR. Она предназначена для нахождения автомобилей, грузовиков и мотоциклов на изображениях; в метриках оценки также есть класс Other. На тестовом наборе указаны mAP 0,1808 и mAP@50 0,3493, а показатели для мотоциклов и класса Other низкие или нулевые.

Модель содержит 6,3 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Подробности о данных обучения и практических ограничениях в карточке отсутствуют.

Сценарии применения

обнаружение автомобилей на изображениях
поиск грузовиков на изображениях
обнаружение мотоциклов на изображениях
подсчёт транспортных средств на изображениях

Ограничения

На оценочном наборе общая mAP составляет 0,1808; качество особенно низкое для мотоциклов, а для класса Other метрики равны нулю. Сведения о составе обучающих данных отсутствуют.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Super_Detection_Model2

This model is a fine-tuned version of ArrayDice/Super_Detection_Model on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.1298
Map: 0.1808
Map 50: 0.3493
Map 75: 0.1691
Map Small: 0.1145
Map Medium: 0.2679
Map Large: 0.2383
Mar 1: 0.125
Mar 10: 0.2435
Mar 100: 0.2784
Mar Small: 0.2083
Mar Medium: 0.3302
Mar Large: 0.4376
Map Car: 0.3117
Mar 100 Car: 0.4185
Map Hgv: 0.3441
Mar 100 Hgv: 0.5338
Map Motorcycle: 0.0675
Mar 100 Motorcycle: 0.1613
Map Other: 0.0
Mar 100 Other: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Map	Map 50	Map 75	Map Small	Map Medium	Map Large	Mar 1	Mar 10	Mar 100	Mar Small	Mar Medium	Mar Large	Map Car	Mar 100 Car	Map Hgv	Mar 100 Hgv	Map Motorcycle	Mar 100 Motorcycle
1.4212	1.0	1431	1.4437	0.0997	0.23	0.0726	0.0488	0.1966	0.1457	0.0912	0.1795	0.2091	0.14	0.2742	0.3388	0.173	0.3266	0.201	0.4018	0.0248	0.1078
1.5144	2.0	2862	1.3895	0.1133	0.2499	0.0908	0.0571	0.2007	0.1638	0.0939	0.1896	0.2221	0.1557	0.2747	0.3723	0.1975	0.3312	0.2273	0.4349	0.0286	0.1221
1.5085	3.0	4293	1.3969	0.1103	0.2537	0.0832	0.0554	0.2014	0.1627	0.0902	0.1783	0.2087	0.1443	0.2775	0.3275	0.2029	0.3265	0.2201	0.4265	0.0181	0.0819
1.4486	4.0	5724	1.4264	0.105	0.2365	0.0844	0.0537	0.1969	0.1555	0.0893	0.1759	0.2053	0.1335	0.2784	0.3643	0.1822	0.3185	0.217	0.4126	0.0208	0.0902
1.4493	5.0	7155	1.3755	0.1124	0.2532	0.0866	0.0571	0.2053	0.1307	0.0949	0.1909	0.2208	0.152	0.2766	0.3861	0.2078	0.3336	0.215	0.4231	0.0268	0.1265
1.4102	6.0	8586	1.3164	0.1195	0.2565	0.1016	0.0629	0.214	0.1613	0.0987	0.1957	0.2251	0.154	0.2865	0.4032	0.2229	0.3549	0.229	0.4187	0.0262	0.127
1.4181	7.0	10017	1.3534	0.1189	0.2556	0.0965	0.0657	0.2132	0.1558	0.0949	0.1971	0.2235	0.1575	0.2845	0.391	0.2206	0.3356	0.2295	0.4299	0.0255	0.1284
1.3845	8.0	11448	1.3302	0.1306	0.2716	0.1133	0.0726	0.223	0.1469	0.1014	0.1945	0.2239	0.15	0.2913	0.4012	0.2344	0.3495	0.2513	0.4369	0.0369	0.1093
1.3262	9.0	12879	1.2996	0.1393	0.288	0.1206	0.0805	0.2317	0.1548	0.1071	0.2058	0.238	0.165	0.3017	0.4235	0.2442	0.3655	0.2631	0.4736	0.0498	0.1127
1.3128	10.0	14310	1.2569	0.1435	0.2923	0.1259	0.0792	0.2384	0.2133	0.1099	0.2132	0.2433	0.1713	0.3085	0.4116	0.2575	0.3721	0.2792	0.4794	0.0372	0.1216
1.2872	11.0	15741	1.2379	0.1484	0.2977	0.1364	0.0835	0.2432	0.1956	0.1161	0.225	0.2578	0.1811	0.3194	0.4301	0.2601	0.382	0.284	0.5001	0.0494	0.149
1.3069	12.0	17172	1.2271	0.1469	0.2997	0.1295	0.0814	0.2445	0.215	0.1092	0.2168	0.2497	0.1769	0.3102	0.406	0.2629	0.3817	0.2836	0.4666	0.0412	0.1505
1.2587	13.0	18603	1.2020	0.1558	0.3127	0.1424	0.0907	0.2484	0.2203	0.1115	0.2232	0.2566	0.1833	0.3153	0.4394	0.2743	0.3866	0.2986	0.4951	0.0502	0.1446
1.2236	14.0	20034	1.1696	0.1671	0.3292	0.1585	0.1026	0.2555	0.222	0.1199	0.2325	0.2633	0.1887	0.3195	0.4303	0.2919	0.4009	0.3149	0.4924	0.0619	0.1598
1.1969	15.0	21465	1.1582	0.1733	0.3408	0.1625	0.1052	0.2628	0.2374	0.1228	0.2386	0.2712	0.1985	0.3235	0.4386	0.2948	0.4077	0.3294	0.5113	0.0689	0.1657
1.1768	16.0	22896	1.1394	0.1796	0.3415	0.168	0.112	0.266	0.2352	0.1263	0.2426	0.2771	0.2058	0.3287	0.4285	0.3014	0.4149	0.342	0.527	0.075	0.1667
1.1729	17.0	24327	1.1350	0.1821	0.3473	0.1733	0.1149	0.2693	0.2358	0.1282	0.2423	0.2773	0.2056	0.3316	0.4432	0.3064	0.4151	0.3507	0.5397	0.0715	0.1544
1.1745	18.0	25758	1.1336	0.1808	0.3482	0.1689	0.1134	0.2684	0.2368	0.1253	0.2426	0.2775	0.2065	0.3314	0.4412	0.3114	0.4172	0.3432	0.5336	0.0687	0.1593
1.1518	19.0	27189	1.1293	0.181	0.3487	0.1688	0.1144	0.2687	0.2398	0.1244	0.2427	0.2771	0.2066	0.3308	0.4376	0.3121	0.4184	0.3448	0.5333	0.0672	0.1569
1.1597	20.0	28620	1.1298	0.1808	0.3493	0.1691	0.1145	0.2679	0.2383	0.125	0.2435	0.2784	0.2083	0.3302	0.4376	0.3117	0.4185	0.3441	0.5338	0.0675	0.1613

Framework versions

Transformers 4.44.0
Pytorch 2.4.0+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · object-detection

Можно запустить

Подбираем GPU…

Класс архитектуры: DetrForObjectDetection
Ревизия весов: 3258bac

Характеристики

Ссылки

Super_Detection_Model2

Бенчмарки

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

Super_Detection_Model2

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить