CLIPSeg выделяет на изображениях области, соответствующие текстовому или визуальному запросу, для zero-shot и one-shot сегментации.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
CIDAS/clipseg-rd64-refined — модель CLIPSeg для сегментации изображений, основанная на работе Image Segmentation Using Text and Image Prompts авторов Lüddecke и соавторов. Вариант использует уменьшение размерности до 64 и более сложную свёрточную часть для уточнения маски.
Модель предназначена для сегментации по текстовому или визуальному запросу в режимах zero-shot и one-shot: она выделяет на изображении область, соответствующую заданному понятию или примеру. Подходит для интерактивного поиска объектов и подготовки масок без обучения отдельного классификатора для каждого класса.
Модель опубликована в формате PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Карточка отсылает к документации по использованию; сведения о поддерживаемых языках и конкретных ограничениях качества в ней не приведены.
Карточка не приводит количественных оценок качества или подробных ограничений; результат следует проверять для конкретных изображений и запросов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
CLIPSeg model with reduce dimension 64, refined (using a more complex convolution). It was introduced in the paper Image Segmentation Using Text and Image Prompts by Lüddecke et al. and first released in this repository.
This model is intended for zero-shot and one-shot image segmentation.
Refer to the documentation.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · image-segmentation
Для архитектуры clipseg нет загрузчика под задачу image-segmentation.