/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
coreml
Опубликована
1 окт 2024

coreml-sam2.1-large

Генерация масокИзображение → mask3 профессии

Конвертированная в Core ML модель SAM 2.1 Large для сегментации объектов на изображениях и видео по подсказкам.

257скачиваний за 30 дней24лайкавеса обновлены1 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SAM 2.1 Large Core ML — конвертированная версия модели SAM 2.1 Large, разработанной FAIR для сегментации изображений и видео по подсказкам. Репозиторий содержит формат Core ML с весами в точности float16 и предназначен для использования, в частности, в демонстрационном приложении SAM2 Studio.

Модель принимает визуальные данные и помогает выделять объекты или области по заданным пользователем подсказкам. SAM 2 разработана для сегментации изображений и видео; карточка этой версии описывает её как Core ML-перенос исходной модели. Указана лицензия Apache-2.0.

Сценарии применения

  • выделение объектов на изображениях по пользовательской подсказке
  • сегментация объектов в видеокадрах
  • интерактивная разметка областей изображения
  • запуск сегментации SAM 2.1 в приложениях на Core ML

Ограничения

Это конвертированная Core ML-версия, предназначенная для соответствующих приложений, включая демонстрационное SAM2 Studio; README не описывает её как самостоятельную текстовую модель.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SAM 2.1 Large Core ML

SAM 2 (Segment Anything in Images and Videos), is a collection of foundation models from FAIR that aim to solve promptable visual segmentation in images and videos. See the SAM 2 paper for more information.

This is the Core ML version of SAM 2.1 Large, and is suitable for use with the SAM2 Studio demo app. It was converted in float16 precision using this fork of the original code repository.

Download

Install huggingface-cli

brew install huggingface-cli
huggingface-cli download --local-dir models apple/coreml-sam2.1-large

Citation

To cite the paper, model, or software, please use the below:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint arXiv:2408.00714},
  url={https://arxiv.org/abs/2408.00714},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · coreml

Нельзя запустить

CoreML-модели работают только на устройствах Apple.

Ревизия весов
e830c08

0 моделей