Характеристики

Лицензия: Apache 2.0
Опубликована: 30 сен 2023

Ссылки

Hugging Face arXiv 2402.05008

efficientvit-sam

mit-han-lab

Генерация масокИзображение → mask

Семейство EfficientViT-SAM от MIT HAN Lab ускоряет сегментацию объектов на изображениях по визуальным подсказкам.

0скачиваний за 30 дней45лайковвеса обновлены6 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

EfficientViT-SAM — семейство моделей сегментации изображений от MIT HAN Lab, ускоренная реализация Segment Anything. Модели принимают изображение и подсказки для сегментации, например предсказанные ограничивающие рамки; результатом служат маски объектов. В карточке приведены варианты L0, L1 и L2 с разрешением 512×512 и числом параметров от 34,8 до 61,3 млн. Для вариантов указаны метрики COCO и LVIS, а также измерения скорости на Jetson AGX Orin и A100 с TensorRT и fp16.

Модель подходит для интерактивной и пакетной сегментации объектов, в том числе на ускорителях NVIDIA. Репозиторий содержит ONNX-файлы; пример использования в README загружает контрольную точку через библиотеку EfficientViT. Лицензия — Apache-2.0. Карточка не сообщает о поддержке текстовых запросов, поэтому модель следует рассматривать как визуальный инструмент сегментации с подсказками.

Сценарии применения

создание масок объектов по ограничивающим рамкам
сегментация объектов на изображениях
пакетная сегментация изображений на GPU
интерактивная сегментация для компьютерного зрения

Ограничения

В приведённой карточке результаты оценки используют предсказанные рамки ViTDet в качестве подсказок; она не описывает качество при других типах подсказок. Приведённые показатели скорости измерены с TensorRT и fp16 на конкретных GPU и не гарантируют такую же производительность на другом оборудовании.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

EfficientViT-SAM: Accelerated Segment Anything Model Without Performance Loss

Pretrained Models

Latency/Throughput is measured on NVIDIA Jetson AGX Orin, and NVIDIA A100 GPU with TensorRT, fp16. Data transfer time is included.

Model	Resolution	COCO mAP	LVIS mAP	Params	MACs	Jetson Orin Latency (bs1)	A100 Throughput (bs16)	Checkpoint
EfficientViT-SAM-L0	512x512	45.7	41.8	34.8M	35G	8.2ms	762 images/s	link
EfficientViT-SAM-L1	512x512	46.2	42.1	47.7M	49G	10.2ms	638 images/s	link
EfficientViT-SAM-L2	512x512	46.6	42.7	61.3M	69G	12.9ms	538 images/s	link
EfficientViT-SAM-XL0	1024x1024	47.5	43.9	117.0M	185G	22.5ms	278 images/s	link
EfficientViT-SAM-XL1	1024x1024	47.8	44.4	203.3M	322G	37.2ms	182 images/s	link

Usage

# segment anything
from efficientvit.sam_model_zoo import create_sam_model

efficientvit_sam = create_sam_model(
  name="xl1", weight_url="assets/checkpoints/sam/xl1.pt",
)
efficientvit_sam = efficientvit_sam.cuda().eval()

from efficientvit.models.efficientvit.sam import EfficientViTSamPredictor

efficientvit_sam_predictor = EfficientViTSamPredictor(efficientvit_sam)

from efficientvit.models.efficientvit.sam import EfficientViTSamAutomaticMaskGenerator

efficientvit_mask_generator = EfficientViTSamAutomaticMaskGenerator(efficientvit_sam)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: a2f0c59