/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
coreml
Опубликована
1 окт 2024

coreml-sam2.1-baseplus

Генерация масокИзображение → mask3 профессии

Конверсия SAM 2.1 BasePlus в Core ML для сегментации изображений и видео по подсказкам.

1 244скачиваний за 30 дней3лайкавеса обновлены1 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SAM 2.1 BasePlus Core ML — конвертированная версия модели сегментации SAM 2, разработанной FAIR. Модель предназначена для сегментации изображений и видео по пользовательским подсказкам; эта сборка Core ML подходит для демонстрационного приложения SAM2 Studio.

Веса сохранены в формате Core ML с точностью float16. Репозиторий распространяется по лицензии Apache 2.0. Модель относится к семейству SAM 2.1 BasePlus.

Сценарии применения

  • сегментация объектов на изображениях по подсказкам
  • выделение областей интереса в видео
  • создание масок объектов для визуального редактирования

Ограничения

В README указана пригодность сборки для демонстрационного приложения SAM2 Studio; другие сценарии развёртывания не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SAM 2.1 BasePlus Core ML

SAM 2 (Segment Anything in Images and Videos), is a collection of foundation models from FAIR that aim to solve promptable visual segmentation in images and videos. See the SAM 2 paper for more information.

This is the Core ML version of SAM 2.1 BasePlus, and is suitable for use with the SAM2 Studio demo app. It was converted in float16 precision using this fork of the original code repository.

Download

Install huggingface-cli

brew install huggingface-cli
huggingface-cli download --local-dir models apple/coreml-sam2.1-baseplus

Citation

To cite the paper, model, or software, please use the below:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint arXiv:2408.00714},
  url={https://arxiv.org/abs/2408.00714},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · coreml

Нельзя запустить

CoreML-модели работают только на устройствах Apple.

Ревизия весов
e35bf3b

0 моделей