Характеристики

Лицензия: CC BY-NC 4.0
Опубликована: 10 сен 2024

Ссылки

sapiens-pretrain-0.3b

Эмбеддинги изображенийИзображение → embedding3 профессии

Предварительно обученный Vision Transformer Meta для извлечения признаков из изображений людей и последующего дообучения под задачи компьютерного зрения.

334скачиваний за 30 дней2лайкавеса обновлены6 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sapiens-0.3B — разработанная Meta модель компьютерного зрения на архитектуре Vision Transformer, предварительно обученная на 300 миллионах изображений людей. Она предназначена для извлечения признаков из изображений, дообучения под задачи анализа людей или использования как основы для обучения новых моделей. Модель содержит 336 млн параметров, принимает изображения размером 1024 × 1024 и поддерживает высокоточное инференс-разрешение 1K; архитектура включает 24 слоя, 16 голов внимания, размер эмбеддинга 1024 и патчи 16 × 16.

Предварительное обучение на большом наборе изображений людей помогает модели обобщать на реальные условия съёмки, в том числе при малом количестве размеченных данных или использовании синтетической разметки. Репозиторий содержит исходные веса PyTorch. Лицензия Creative Commons Attribution-NonCommercial 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

извлечение признаков из изображений людей
подготовка признаков для моделей анализа человеческого тела
дообучение модели на задаче компьютерного зрения для изображений людей
инициализация обучения новой модели для анализа изображений людей

Ограничения

Модель предварительно обучена для изображений людей и сама по себе не заявлена как готовое решение для конкретной прикладной задачи; для таких задач может потребоваться дообучение. Некоммерческая лицензия запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Pretrain-Sapiens-0.3B

Model Details

Sapiens is a family of vision transformers pretrained on 300 million human images at 1024 x 1024 image resolution. The pretrained models, when finetuned for human-centric vision tasks, generalize to in-the-wild conditions. Sapiens-0.3B natively support 1K high-resolution inference. The resulting models exhibit remarkable generalization to in-the-wild data, even when labeled data is scarce or entirely synthetic.

Developed by: Meta
Model type: Vision Transformer
License: Creative Commons Attribution-NonCommercial 4.0
Task: pretrain
Format: original
File: sapiens_0.3b_epoch_1600_clean.pth

Model Card

Image Size: 1024 x 1024
Num Parameters: 0.336 B
FLOPs: 1.242 TFLOPs
Patch Size: 16 x 16
Embedding Dimensions: 1024
Num Layers: 24
Num Heads: 16
Feedforward Channels: 4096

More Resources

Repository: https://github.com/facebookresearch/sapiens
Paper: https://arxiv.org/abs/2408.12569
Demo: Sapiens Gradio Spaces
Project Page: https://about.meta.com/realitylabs/codecavatars/sapiens
Additional Results: https://rawalkhirodkar.github.io/sapiens
HuggingFace Collection: https://huggingface.co/collections/facebook/sapiens-66d22047daa6402d565cb2fc

Uses

Pretrained 0.3B model can be used for feature extraction, fine-tuning, or as a starting point for training new models.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-feature-extraction

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 38850d5