Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель b09501048/detr — дообученная версия DETR на ResNet-50 от Facebook, предназначенная для обнаружения объектов на изображениях и предсказания их классов и ограничивающих рамок. В карточке приведены метрики оценки для классов person, face, head, hands и ряда предметов одежды и средств защиты; результаты заметно различаются между классами, а для многих классов mAP равен нулю.

Модель использует архитектуру DetrForObjectDetection и опубликована в формате safetensors для библиотеки Transformers. Она дообучена на неизвестном наборе данных; карточка не описывает набор данных, предполагаемые сценарии применения или дополнительные языковые возможности. Лицензия — Apache-2.0.

Сценарии применения

обнаружение людей и лиц на изображениях
поиск головы и рук на изображениях
выявление средств индивидуальной защиты на изображениях
локализация обуви, инструментов и других объектов на изображениях

Ограничения

Набор данных и условия применения не описаны. Метрики низкие для многих классов: например, mAP равен нулю для средств защиты, инструментов и обуви; качество следует проверять на целевых данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

detr

This model is a fine-tuned version of facebook/detr-resnet-50 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.1588
Map: 0.0662
Map 50: 0.1137
Map 75: 0.0667
Map Small: 0.0
Map Medium: 0.0013
Map Large: 0.0706
Mar 1: 0.0705
Mar 10: 0.1303
Mar 100: 0.1374
Mar Small: 0.0
Mar Medium: 0.009
Mar Large: 0.1536
Map Person: 0.5545
Mar 100 Person: 0.6988
Map Ear: 0.0068
Mar 100 Ear: 0.1599
Map Earmuffs: 0.0
Mar 100 Earmuffs: 0.0
Map Face: 0.1494
Mar 100 Face: 0.3924
Map Face-guard: 0.0
Mar 100 Face-guard: 0.0
Map Face-mask-medical: 0.0
Mar 100 Face-mask-medical: 0.0
Map Foot: 0.0
Mar 100 Foot: 0.0
Map Tools: 0.0012
Mar 100 Tools: 0.0722
Map Glasses: 0.0
Mar 100 Glasses: 0.0
Map Gloves: 0.0
Mar 100 Gloves: 0.0
Map Helmet: 0.0
Mar 100 Helmet: 0.0
Map Hands: 0.1315
Mar 100 Hands: 0.4111
Map Head: 0.274
Mar 100 Head: 0.5671
Map Medical-suit: 0.0
Mar 100 Medical-suit: 0.0
Map Shoes: 0.0073
Mar 100 Shoes: 0.035
Map Safety-suit: 0.0
Mar 100 Safety-suit: 0.0
Map Safety-vest: 0.0
Mar 100 Safety-vest: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
num_epochs: 10
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Map	Map 50	Map 75	Map Medium	Map Large	Mar 1	Mar 10	Mar 100	Mar Medium	Mar Large	Map Person	Mar 100 Person	Map Ear	Mar 100 Ear	Map Face	Mar 100 Face	Map Tools	Mar 100 Tools	Map Hands	Mar 100 Hands	Map Head	Mar 100 Head	Map Shoes	Mar 100 Shoes
No log	0.9913	57	2.9995	0.0253	0.0391	0.0271	0.0001	0.0263	0.0319	0.0569	0.0684	0.0005	0.0725	0.3757	0.6561	0.0002	0.0046	0.0006	0.0042	0.0	0.0	0.0211	0.3065	0.0333	0.1919	0.0	0.0
No log	2.0	115	2.6946	0.0312	0.0518	0.0323	0.0002	0.0327	0.0411	0.0775	0.0874	0.003	0.094	0.42	0.6762	0.0007	0.0246	0.0053	0.0515	0.0	0.0	0.0373	0.3427	0.0669	0.3916	0.0	0.0
No log	2.9913	172	2.5527	0.0325	0.0595	0.0308	0.002	0.0343	0.0441	0.0853	0.0961	0.0057	0.1058	0.3649	0.652	0.0021	0.0798	0.0142	0.0748	0.0022	0.0073	0.0508	0.3384	0.1178	0.482	0.0	0.0
No log	4.0	230	2.4637	0.0425	0.0788	0.0396	0.0006	0.0449	0.0503	0.0968	0.1059	0.0049	0.1168	0.451	0.6564	0.0018	0.0867	0.0548	0.1764	0.0017	0.0225	0.0725	0.3554	0.1402	0.5027	0.0	0.0
No log	4.9913	287	2.3455	0.0527	0.0929	0.052	0.0006	0.0561	0.0625	0.1154	0.1234	0.0042	0.1375	0.4924	0.6771	0.0068	0.1346	0.1061	0.3505	0.0011	0.0278	0.0916	0.3802	0.1918	0.5232	0.0058	0.0047
No log	6.0	345	2.2859	0.0538	0.0938	0.0534	0.0011	0.0572	0.0624	0.1175	0.1268	0.0051	0.1412	0.5106	0.6945	0.0037	0.1284	0.1108	0.3333	0.0006	0.0503	0.1048	0.4016	0.1793	0.5394	0.0055	0.0088
No log	6.9913	402	2.2126	0.0609	0.1056	0.0596	0.0019	0.065	0.0681	0.1257	0.1319	0.0086	0.1469	0.5288	0.6915	0.0064	0.1412	0.1366	0.3886	0.0006	0.0517	0.1204	0.3905	0.2371	0.5637	0.0055	0.0154
No log	8.0	460	2.1794	0.0641	0.11	0.0643	0.0015	0.0685	0.0699	0.1294	0.1372	0.0089	0.1533	0.5525	0.6964	0.0064	0.1599	0.1375	0.3892	0.0012	0.0775	0.1273	0.4089	0.2586	0.567	0.007	0.0333
2.8481	8.9913	517	2.1642	0.0658	0.113	0.0661	0.0016	0.0703	0.0702	0.1296	0.1369	0.0091	0.1532	0.5529	0.6969	0.0067	0.1606	0.1475	0.3875	0.0012	0.0725	0.13	0.4102	0.2727	0.5659	0.0073	0.0344
2.8481	9.9130	570	2.1588	0.0662	0.1137	0.0667	0.0013	0.0706	0.0705	0.1303	0.1374	0.009	0.1536	0.5545	0.6988	0.0068	0.1599	0.1494	0.3924	0.0012	0.0722	0.1315	0.4111	0.274	0.5671	0.0073	0.035

Framework versions

Transformers 4.44.2
Pytorch 2.4.1+cu121
Datasets 3.0.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · object-detection

Можно запустить

Подбираем GPU…

Класс архитектуры: DetrForObjectDetection
Ревизия весов: 0168c83

Характеристики

Ссылки

detr

Бенчмарки

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Карточка модели

detr

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить