/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Опубликована
9 сен 2024

sapiens-seg-1b-torchscript

Сегментация изображенийИзображение → mask3 профессии

Sapiens Seg-1B TorchScript — модель компьютерного зрения, разработанная Meta для сегментации человеческих изображений.

2 244скачиваний за 30 дней7лайковвеса обновлены6 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для попиксельного выделения 28 классов частей тела и может применяться в задачах human-centric vision, включая анализ людей на изображениях в естественных условиях. Модель рассчитана на обобщение при дефиците размеченных данных или использовании синтетических данных.

Модель построена на архитектуре Vision Transformer и предварительно обучена на 300 миллионах изображений людей с разрешением 1024 × 1024. Она поддерживает инференс высокого разрешения 1K; указанное входное разрешение модели составляет 1024 × 768. Модель содержит около 1,169 млрд параметров, 40 слоёв, 24 attention heads, размерность эмбеддингов 1536, размерность feedforward-слоёв 6144 и patch size 16 × 16. Вычислительная сложность составляет 4,647 TFLOPs. Формат поставки — TorchScript.

К сильным сторонам относятся высокое разрешение обработки, специализация на анализе человеческого тела и хорошая обобщающая способность на данных «из реального мира». Ограничения включают узкую предметную область, высокие вычислительные требования и отсутствие поддержки других модальностей или задач, не связанных с сегментацией изображений людей. Модель распространяется по лицензии Creative Commons Attribution-NonCommercial 4.0, допускающей использование с указанием авторства и запрещающей коммерческое применение.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Seg-Sapiens-1B-Torchscript

Model Details

Sapiens is a family of vision transformers pretrained on 300 million human images at 1024 x 1024 image resolution. The pretrained models, when finetuned for human-centric vision tasks, generalize to in-the-wild conditions. Sapiens-1B natively support 1K high-resolution inference. The resulting models exhibit remarkable generalization to in-the-wild data, even when labeled data is scarce or entirely synthetic.

  • Developed by: Meta
  • Model type: Vision Transformer
  • License: Creative Commons Attribution-NonCommercial 4.0
  • Task: seg
  • Format: torchscript
  • File: sapiens_1b_goliath_best_goliath_mIoU_7994_epoch_151_torchscript.pt2

Model Card

  • Image Size: 1024 x 768 (H x W)
  • Num Parameters: 1.169 B
  • FLOPs: 4.647 TFLOPs
  • Patch Size: 16 x 16
  • Embedding Dimensions: 1536
  • Num Layers: 40
  • Num Heads: 24
  • Feedforward Channels: 6144

More Resources

Uses

Seg 1B model can be used to perform 28 class body part segmentation on human images.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Библиотека «sapiens» рантаймом не поддерживается.

Ревизия весов
5845042

0 моделей