/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
coreml
Опубликована
13 сен 2024

coreml-sam2-small

Генерация масокИзображение → mask3 профессии

Конвертированная в Core ML модель SAM 2 Tiny для сегментации объектов на изображениях и видео по запросу.

41скачиваний за 30 дней8лайковвеса обновлены13 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это конвертированная в Core ML модель SAM 2 Tiny из семейства SAM 2, разработанного FAIR. Она предназначена для сегментации объектов по запросу на изображениях и видео и подходит для использования в демонстрационном приложении SAM2 Studio. Модель представлена в формате Core ML и преобразована с точностью float16.

Модель принимает визуальные данные и создаёт маски сегментации. Карточка описывает её как Core ML-версию SAM 2 Tiny; лицензия репозитория — Apache-2.0. Карточка не приводит дополнительные сведения о языковой поддержке или контексте.

Сценарии применения

  • создание масок объектов на изображениях
  • сегментация объектов в видеокадрах
  • интерактивное выделение объектов по запросу
  • использование сегментации в приложениях на платформах Apple

Ограничения

Это конверсия в Core ML, ориентированная на использование в SAM2 Studio; сведения о точности, требованиях к устройству и ограничениях сегментации в карточке не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SAM2 Small Core ML

SAM 2 (Segment Anything in Images and Videos), is a collection of foundation models from FAIR that aim to solve promptable visual segmentation in images and videos. See the SAM 2 paper for more information.

This is the Core ML version of SAM 2 Tiny, and is suitable for use with the SAM2 Studio demo app. It was converted in float16 precision using this fork of the original code repository.

Download

Install huggingface-cli

brew install huggingface-cli
huggingface-cli download --local-dir models coreml-projects/coreml-sam2-small

Citation

To cite the paper, model, or software, please use the below:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint arXiv:2408.00714},
  url={https://arxiv.org/abs/2408.00714},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · coreml

Нельзя запустить

CoreML-модели работают только на устройствах Apple.

Ревизия весов
0d45c89

0 моделей