Характеристики

Контекст: 1 024 токена
Параметры: 6,3 млн
Лицензия: Apache 2.0
Архитектура: detr · dense
Базовая модель: detr
Библиотека: transformers
Опубликована: 12 окт 2024

Ссылки

Hugging Face

detr2

b09501048

Поиск объектовИзображение → bounding_boxes3 профессии

Дообученная DETR-модель для обнаружения людей, лиц, частей тела и предметов на изображениях.

16скачиваний за 30 дней0лайковвеса обновлены12 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

b09501048/detr2 — дообученная модель обнаружения объектов на базе b09501048/detr. Она использует архитектуру DETR и предназначена для поиска людей, лиц, частей тела и различных предметов на изображениях. В оценке модели приведены результаты для классов «человек», «лицо», «голова», «руки», «ухо», а также средств защиты и других предметов; качество заметно различается между классами, а общая mAP составляет 0,1051.

Модель принимает изображения и возвращает найденные объекты с ограничивающими рамками и метками классов. Размер — 6,3 млн параметров; файлы представлены в формате safetensors и рассчитаны на библиотеку Transformers. Лицензия — Apache-2.0. Датасет дообучения не назван, поэтому результаты оценки не позволяют определить, насколько модель подходит для иных изображений и условий съёмки.

Сценарии применения

поиск людей и лиц на изображениях
обнаружение головы, рук и ушей
поиск средств защиты и рабочей экипировки
разметка объектов ограничивающими рамками на изображениях

Ограничения

Общая mAP на оценочном наборе составляет 0,1051, при этом качество сильно зависит от класса: например, mAP для человека — 0,5572, а для ряда классов экипировки — 0. Датасет и условия оценки не описаны, поэтому результаты нельзя уверенно переносить на другие сценарии.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

detr2

This model is a fine-tuned version of b09501048/detr on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.6756
Map: 0.1051
Map 50: 0.1903
Map 75: 0.1015
Map Small: 0.0033
Map Medium: 0.0045
Map Large: 0.118
Mar 1: 0.0866
Mar 10: 0.1571
Mar 100: 0.1653
Mar Small: 0.0035
Mar Medium: 0.0137
Mar Large: 0.1915
Map Person: 0.5572
Mar 100 Person: 0.6813
Map Ear: 0.0504
Mar 100 Ear: 0.2096
Map Earmuffs: 0.0
Mar 100 Earmuffs: 0.0
Map Face: 0.4079
Mar 100 Face: 0.5174
Map Face-guard: 0.0
Mar 100 Face-guard: 0.0
Map Face-mask-medical: 0.0
Mar 100 Face-mask-medical: 0.0
Map Foot: 0.0
Mar 100 Foot: 0.0
Map Tools: 0.0065
Mar 100 Tools: 0.1896
Map Glasses: 0.0074
Mar 100 Glasses: 0.0812
Map Gloves: 0.0007
Mar 100 Gloves: 0.009
Map Helmet: 0.0
Mar 100 Helmet: 0.0
Map Hands: 0.2666
Mar 100 Hands: 0.4266
Map Head: 0.473
Mar 100 Head: 0.5522
Map Medical-suit: 0.0
Mar 100 Medical-suit: 0.0
Map Shoes: 0.0168
Mar 100 Shoes: 0.1435
Map Safety-suit: 0.0
Mar 100 Safety-suit: 0.0
Map Safety-vest: 0.0
Mar 100 Safety-vest: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
num_epochs: 10
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Map	Map 50	Map 75	Map Small	Map Medium	Map Large	Mar 1	Mar 10	Mar 100	Mar Small	Mar Medium	Mar Large	Map Person	Mar 100 Person	Map Ear	Mar 100 Ear	Map Face	Mar 100 Face	Map Tools	Mar 100 Tools	Map Glasses	Mar 100 Glasses	Map Gloves	Mar 100 Gloves	Map Hands	Mar 100 Hands	Map Head	Mar 100 Head	Map Shoes	Mar 100 Shoes
No log	1.0	230	2.1829	0.0605	0.1167	0.0552	0.0009	0.0013	0.0672	0.0586	0.1154	0.1211	0.0007	0.0051	0.138	0.4117	0.609	0.0032	0.1099	0.1725	0.4168	0.0001	0.0268	0.0	0.0	0.0	0.0	0.1194	0.3523	0.3179	0.4968	0.0041	0.0467
No log	2.0	460	2.0866	0.0711	0.1339	0.0672	0.0013	0.0011	0.079	0.0641	0.1206	0.126	0.0018	0.0084	0.1438	0.454	0.609	0.0052	0.1209	0.1989	0.4211	0.0004	0.0785	0.0	0.0	0.0	0.0	0.1608	0.3471	0.3852	0.507	0.0038	0.058
2.5763	3.0	690	1.9861	0.0827	0.1539	0.0797	0.0009	0.0019	0.0922	0.0692	0.1281	0.1324	0.0007	0.0068	0.1522	0.4877	0.6318	0.0221	0.1291	0.3016	0.4585	0.0006	0.0826	0.0	0.0	0.0	0.0	0.1826	0.3567	0.4063	0.5112	0.0048	0.0814
2.5763	4.0	920	1.8935	0.0862	0.1625	0.0806	0.0002	0.0033	0.0962	0.0728	0.1312	0.136	0.0007	0.0101	0.1562	0.4722	0.6241	0.0232	0.1592	0.351	0.4621	0.0009	0.1066	0.0004	0.0044	0.0	0.0	0.1775	0.3583	0.4342	0.5186	0.0066	0.079
2.32	5.0	1150	1.8171	0.0932	0.1746	0.0899	0.0028	0.0033	0.1042	0.079	0.1399	0.1469	0.0028	0.0106	0.1685	0.4946	0.6561	0.0379	0.1757	0.3903	0.4897	0.0011	0.1625	0.0042	0.0262	0.0004	0.002	0.1991	0.3702	0.4482	0.5292	0.009	0.0858
2.32	6.0	1380	1.7576	0.0981	0.1822	0.0942	0.0015	0.0038	0.11	0.0818	0.1474	0.1541	0.0015	0.0123	0.1785	0.5247	0.658	0.0522	0.1868	0.3726	0.499	0.0083	0.1448	0.0067	0.06	0.0	0.0	0.2357	0.4101	0.4543	0.5349	0.0125	0.1263
2.1983	7.0	1610	1.7219	0.1017	0.1871	0.0961	0.0021	0.0059	0.1138	0.0854	0.1531	0.1601	0.0024	0.0153	0.1847	0.547	0.6753	0.0411	0.207	0.3952	0.4981	0.0042	0.1893	0.0108	0.0662	0.0005	0.0035	0.256	0.4141	0.4619	0.5478	0.0123	0.1201
2.1983	8.0	1840	1.7015	0.1025	0.1879	0.099	0.0028	0.0048	0.1149	0.0852	0.1556	0.1625	0.0029	0.0143	0.1884	0.5415	0.6693	0.0436	0.2041	0.4018	0.5101	0.0056	0.1713	0.0086	0.0962	0.0	0.002	0.2632	0.4221	0.4633	0.5424	0.0155	0.1456
2.0688	9.0	2070	1.6853	0.1042	0.1896	0.0994	0.0033	0.0046	0.117	0.0862	0.156	0.1636	0.0033	0.014	0.1895	0.5507	0.6784	0.0481	0.206	0.4047	0.5127	0.005	0.1716	0.009	0.0887	0.0004	0.006	0.2662	0.4255	0.4697	0.5484	0.0169	0.1435
2.0688	10.0	2300	1.6756	0.1051	0.1903	0.1015	0.0033	0.0045	0.118	0.0866	0.1571	0.1653	0.0035	0.0137	0.1915	0.5572	0.6813	0.0504	0.2096	0.4079	0.5174	0.0065	0.1896	0.0074	0.0812	0.0007	0.009	0.2666	0.4266	0.473	0.5522	0.0168	0.1435

Framework versions

Transformers 4.44.2
Pytorch 2.4.1+cu121
Datasets 3.0.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · object-detection

Можно запустить

Подбираем GPU…

Класс архитектуры: DetrForObjectDetection
Ревизия весов: 525d04f