clipseg-rd64-refined-fp16

Архитектура основана на CLIPSeg, разработанном Timo Lüddecke и Alexander Ecker: модель сопоставляет изображение с запросом и строит пиксельную карту вероятности или маску соответствующей области без необходимости заранее фиксировать набор классов. Вариант refined предназначен для более детализированных, мелкомасштабных предсказаний.

Модель реализована как CLIPSegForImageSegmentation и совместима с библиотекой Transformers. Конфигурация содержит vision- и text-компоненты CLIP, vision encoder с patch size 16, 12 слоями и размерностью скрытого состояния 768, текстовый encoder с 12 слоями, размерностью 512 и максимальной длиной последовательности 77 токенов, а также transformer decoder с уменьшенной размерностью 64. Входные изображения процессор масштабирует до 352×352 пикселей. Репозиторий содержит около 0,2 млрд параметров и веса в формате float16; заявленная лицензия — Apache 2.0.

Модель подходит для zero-shot и query-based сегментации объектов и областей по естественно-языковому описанию, а также для использования в графах обработки изображений, например при выделении области перед кадрированием или последующей генерацией. Точные поддерживаемые языки, количественные показатели качества и подробные ограничения в карточке этой версии не указаны; поэтому нельзя надежно утверждать наличие равноценной поддержки языков, отличных от использованных при обучении CLIP, или гарантировать качество на конкретных доменах. FP16 уменьшает размер хранения и требования к памяти, но может ограничивать запуск на средах без подходящей поддержки half precision.