/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
coreml
Опубликована
13 сен 2024

coreml-sam2-large

Генерация масокИзображение → mask3 профессии

Конвертированная в Core ML версия SAM 2 Large для сегментации объектов на изображениях и видео по подсказкам.

43скачиваний за 30 дней35лайковвеса обновлены13 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это конвертированная в Core ML модель SAM 2 Large из семейства Segment Anything, разработанного FAIR. Она предназначена для сегментации изображений и видео по подсказкам и подходит для использования с демонстрационным приложением SAM2 Studio. Веса сохранены в формате Core ML с точностью float16 и распространяются по лицензии Apache-2.0.

Модель принимает визуальные данные и формирует маски сегментации. Репозиторий представляет собой преобразование исходной модели для запуска в экосистеме Core ML; README не описывает дополнительные ограничения качества или поддерживаемые языки.

Сценарии применения

  • создание масок объектов на изображениях по подсказкам
  • сегментация объектов в видеопоследовательностях
  • интерактивное выделение объектов в демонстрационном приложении SAM2 Studio

Ограничения

Предназначена для сегментации по визуальным подсказкам; README указывает совместимость с демонстрационным приложением SAM2 Studio, но не описывает другие сценарии запуска.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SAM2 Large Core ML

SAM 2 (Segment Anything in Images and Videos), is a collection of foundation models from FAIR that aim to solve promptable visual segmentation in images and videos. See the SAM 2 paper for more information.

This is the Core ML version of SAM 2 Large, and is suitable for use with the SAM2 Studio demo app. It was converted in float16 precision using this fork of the original code repository.

Download

Install huggingface-cli

brew install huggingface-cli
huggingface-cli download --local-dir models coreml-projects/coreml-sam2-large

Citation

To cite the paper, model, or software, please use the below:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint arXiv:2408.00714},
  url={https://arxiv.org/abs/2408.00714},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · coreml

Нельзя запустить

CoreML-модели работают только на устройствах Apple.

Ревизия весов
7e1ee42

0 моделей