Характеристики

Лицензия: Своя лицензия
Базовая модель: sapiens2-pose-1b
Опубликована: 7 окт 2026

Ссылки

iron-sapiens2-pose-1b-npu2

Классификация и разметка

Экспорт Sapiens2-Pose 1B для AMD Ryzen AI NPU2 определяет 308 ключевых точек тела человека по изображению и рамкам людей.

0скачиваний за 30 дней0лайковвеса обновлены7 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспорт модели Sapiens2-Pose 1B, разработанной Meta, в формате IRON для запуска на NPU AMD Ryzen AI поколения NPU2. Модель определяет 308 ключевых точек всего тела человека, включая точки лица, кистей и стоп. Она работает в режиме top-down: на вход подаются изображение и рамки людей в формате COCO, а на выходе — координаты ключевых точек в изображении и оценки по тепловым картам.

Экспорт предназначен для выполнения через Rust runtime taconite-sapiens2 версии 0.1.2 или новее, используя XRT либо драйвер amdxdna. В README приведено сравнение с исходной моделью float32: на пяти рамках из COCO val2017 сходство тепловых карт составляет 0,99983–0,99993, средняя ошибка координат — 0,06–0,20 пикселя; обработка одной рамки занимает около 3,5 секунды на Ryzen AI 9 HX 370. Эти показатели относятся к описанному устройству и проверке.

Экспорт предназначен только для NPU2 (AIE2P: Strix Point, Strix Halo и Krackan) и не загружается на NPU1, включая Phoenix и Hawk Point. Для весов действует лицензия Sapiens2: README указывает, что она разрешает распространение при сохранении лицензии, но запрещает, в частности, наблюдение и биометрическую обработку.

Сценарии применения

оценка позы человека на изображении при наличии рамок людей
получение координат точек лица, кистей и стоп
анализ положения тела на видео после извлечения кадров и обнаружения людей

Ограничения

Требуются AMD Ryzen AI NPU2 с архитектурой AIE2P, рантайм taconite-sapiens2 версии 0.1.2 или новее и заранее подготовленные рамки людей; на NPU1 модель не работает. Лицензия Sapiens2 запрещает, среди прочего, использование для наблюдения и биометрической обработки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Sapiens2-Pose 1B whole-body keypoints (308) on the AMD NPU

An IRON export of facebook/sapiens2-pose-1b for AMD Ryzen AI NPUs: the compiled NPU kernels (.xclbin + instruction streams) and the packed weights the taconite-sapiens2 Rust runtime replays, over XRT or directly over the amdxdna driver.

The kernels are compiled for NPU2 (AIE2P: Strix Point, Strix Halo, Krackan) and will not load on NPU1 (Phoenix, Hawk Point).

Download

hf download brishen/iron-sapiens2-pose-1b-npu2 --local-dir sapiens2-pose-1b
# or, from an IRON checkout:
python scripts/hf_models.py download sapiens2-pose-1b --repo brishen/iron-sapiens2-pose-1b-npu2 --out sapiens2-pose-1b

The larger Sapiens2-Pose: 40 layers of 1536 (the 0.4b's 24 of 1024), the same 308 keypoints. Top-down: give each person's box (COCO x,y,w,h, from a person detector); the keypoints come back in image coordinates with their heatmap scores. Needs taconite-sapiens2 0.1.2 or later (bundle format 2). sapiens2 check on a Ryzen AI 9 HX 370, against the float32 HF model: heatmaps cosine 0.99983-0.99993, mean keypoint error 0.06-0.20 px over 5 COCO val2017 boxes; ~3.5 s a box.

The weights are Meta's, under the Sapiens2 License (LICENSE.md here): it permits redistribution with the license attached and forbids, among others, surveillance and biometric processing.

Usage

cargo install taconite-sapiens2             # over XRT
# or, with no XRT at all (straight to the amdxdna driver):
cargo install taconite-sapiens2 --no-default-features --features cli,direct
sapiens2 pose sapiens2-pose-1b person.jpg --box 150,130,275,480 -o overlay.png --json kp.json
sapiens2 check sapiens2-pose-1b                    # the reference cases against the float32 model

See taconite-sapiens2 (docs, source) for the full API. The bundle is exported by IRON's iron/applications/sapiens2_pose.

Provenance

Upstream model: facebook/sapiens2-pose-1b (license: other; its terms apply to these weights)
IRON commit: 09481d4
Uploaded: 2026-10-06
Files: 24, 1.9 GB

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 8b4b897