Характеристики

Лицензия: CC BY 4.0
Опубликована: 12 апр 2024

Ссылки

maggie-video-vim2k5-cvpr24

Сегментация изображенийИзображение → mask3 профессии

Производная модели chuonghm/maggie-image-him50k-cvpr24. MaGGIe выполняет инстанс-ориентированный альфа-маттинг людей по изображению или видео с использованием бинарной маски-подсказки.

29скачиваний за 30 дней0лайковвеса обновлены14 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели chuonghm/maggie-video-vim2k5-cvpr24 на Hugging Face совпадает с карточкой chuonghm/maggie-image-him50k-cvpr24, поэтому описание составлено по ней.

MaGGIe (Mask Guided Gradual Human Instance Matting) — модель для выделения людей и получения альфа-маттинга с учётом отдельных экземпляров. Её разработали Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava и Joon-Young Lee в рамках стажировки в Adobe Research; работа принята на CVPR 2024.

Модель использует бинарную маску как подсказку и предназначена для обработки изображений и видео. Она помогает получить детализированные маски прозрачности людей с сохранением разделения на экземпляры, например для композитинга и редактирования фона. В метаданных Hugging Face основная задача указана как сегментация изображений; веса опубликованы в формате safetensors.

Репозиторий распространяется по лицензии CC BY 4.0. Описание не сообщает размер модели, длину контекста или перечень поддерживаемых языков; языковой ввод для этой задачи не является основным.

Сценарии применения

получение альфа-маски человека для замены фона на изображении
отделение нескольких людей друг от друга при маттинге
подготовка портретов и кадров для композитинга
маттинг людей в видеопоследовательностях с бинарной маской-подсказкой

Ограничения

Для работы требуется бинарная маска-подсказка. В README не приведены количественные оценки качества или подробные ограничения применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MaGGIe: Mask Guided Gradual Human Instance Matting

[Project Page] [Code]

Weights for Instance-awareness alpha human matting with binary mask guidance for images and video

Accepted at CVPR 2024

Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

Work is a part of Summer Internship 2023 at Adobe Research

Please refer to our paper for details.

Citation

If you find MaGGIe useful in your research, please cite the following paper:

@inproceedings{huynh2024maggie,
  title={Maggie: Masked guided gradual human instance matting},
  author={Huynh, Chuong and Oh, Seoung Wug and Shrivastava, Abhinav and Lee, Joon-Young},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={3870--3879},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов: 8cae7ac