CLIPSeg — модель сегментации изображений по текстовому запросу или визуальному примеру в zero-shot и one-shot сценариях.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
CIDAS/clipseg-rd64 — модель для сегментации изображений по текстовым или визуальным подсказкам. Она основана на CLIPSeg с уменьшением размерности до 64 и реализована архитектурой CLIPSegForImageSegmentation. Модель предназначена для zero-shot и one-shot сценариев: можно выделять области изображения, задавая текстовое описание или пример изображения.
Модель подходит для интерактивного поиска и выделения объектов без обучения на конкретных классах, а также для сегментации по одному примеру. Карточка ссылается на статью «Image Segmentation Using Text and Image Prompts» Лүддеке и соавторов. Доступны веса PyTorch и Safetensors; лицензия — Apache 2.0. Для работы требуются изображения и текстовые или визуальные подсказки.
Качество сегментации зависит от точности текстовой или визуальной подсказки; в карточке не приведены результаты оценки качества или сведения о поддерживаемых наборах категорий.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
CLIPSeg model with reduce dimension 64. It was introduced in the paper Image Segmentation Using Text and Image Prompts by Lüddecke et al. and first released in this repository.
This model is intended for zero-shot and one-shot image segmentation.
Refer to the documentation.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · image-segmentation
Для архитектуры clipseg нет загрузчика под задачу image-segmentation.