/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
coreml
Опубликована
1 окт 2024

coreml-sam2.1-tiny

Генерация масокИзображение → mask3 профессии

Конверсия SAM 2.1 Tiny в Core ML для сегментации объектов на изображениях и видео по подсказкам.

2 337скачиваний за 30 дней10лайковвеса обновлены1 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это конверсия модели SAM 2.1 Tiny, разработанной FAIR для сегментации изображений и видео по подсказкам. Данная версия подготовлена в формате Core ML для использования с демонстрационным приложением SAM2 Studio и преобразована в точность float16.

Модель предназначена для интерактивной визуальной сегментации: по визуальной подсказке она выделяет объекты на изображениях и видео. Репозиторий содержит формат Core ML и распространяется по лицензии Apache 2.0.

Сценарии применения

  • выделение объектов на изображениях по подсказке
  • сегментация объектов в видеокадрах
  • интерактивное создание масок для визуального контента

Ограничения

Представлена конвертированная версия в Core ML и float16, ориентированная на приложение SAM2 Studio; README не описывает ограничения точности или поддерживаемые типы подсказок.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SAM 2.1 Tiny Core ML

SAM 2 (Segment Anything in Images and Videos), is a collection of foundation models from FAIR that aim to solve promptable visual segmentation in images and videos. See the SAM 2 paper for more information.

This is the Core ML version of SAM 2.1 Tiny, and is suitable for use with the SAM2 Studio demo app. It was converted in float16 precision using this fork of the original code repository.

Download

Install huggingface-cli

brew install huggingface-cli
huggingface-cli download --local-dir models apple/coreml-sam2.1-tiny

Citation

To cite the paper, model, or software, please use the below:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint arXiv:2408.00714},
  url={https://arxiv.org/abs/2408.00714},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · coreml

Нельзя запустить

CoreML-модели работают только на устройствах Apple.

Ревизия весов
39ae0a8

0 моделей