/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
coreml
Опубликована
1 окт 2024

coreml-sam2.1-small

Генерация масокИзображение → mask3 профессии

Конвертированная версия SAM 2.1 Small для Core ML, предназначенная для сегментации объектов на изображениях и видео по подсказкам.

726скачиваний за 30 дней4лайкавеса обновлены1 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это конвертированная в Core ML версия SAM 2.1 Small — модели семейства Segment Anything от FAIR для сегментации изображений и видео по подсказкам. Репозиторий подготовлен Apple и предназначен для использования, в частности, с демонстрационным приложением SAM2 Studio.

Модель принимает визуальные данные и подсказки для сегментации и формирует маски объектов. Веса сохранены в формате Core ML с точностью float16. В карточке не приведены сведения о поддерживаемых языках, числе параметров и длине контекста. Лицензия — Apache-2.0.

Сценарии применения

  • создание масок объектов на изображениях по визуальным подсказкам
  • сегментация объектов в видео
  • интерактивное выделение объектов в приложении SAM2 Studio

Ограничения

Для применения требуется среда, поддерживающая Core ML; README указывает на использование с демонстрационным приложением SAM2 Studio.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SAM 2.1 Small Core ML

SAM 2 (Segment Anything in Images and Videos), is a collection of foundation models from FAIR that aim to solve promptable visual segmentation in images and videos. See the SAM 2 paper for more information.

This is the Core ML version of SAM 2.1 Small, and is suitable for use with the SAM2 Studio demo app. It was converted in float16 precision using this fork of the original code repository.

Download

Install huggingface-cli

brew install huggingface-cli
huggingface-cli download --local-dir models apple/coreml-sam2.1-small

Citation

To cite the paper, model, or software, please use the below:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint arXiv:2408.00714},
  url={https://arxiv.org/abs/2408.00714},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · coreml

Нельзя запустить

CoreML-модели работают только на устройствах Apple.

Ревизия весов
883f578

0 моделей