LISA++ — мультимодальная модель на базе LLaVA для сегментации объектов на изображениях по текстовым запросам.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
LISA++ — модель для сегментации объектов на изображениях по запросам и рассуждениям на естественном языке. Она разработана авторами статьи «LISA++: An Improved Baseline for Reasoning Segmentation with Large Language Model» и дообучена на базе liuhaotian/llava-v1.5-7b. Модель насчитывает 6,6 млрд параметров, использует архитектуру LLaVA и принимает изображения вместе с текстовыми инструкциями; базовая модель описана как мультимодальный чат-бот для вопросов об изображениях и выполнения визуальных инструкций.
Модель предназначена для сегментации экземпляров объектов и задач, где нужно определить на изображении объект, описанный текстом. Контекст составляет 4096 токенов. В репозитории указаны веса PyTorch и лицензия Apache-2.0. Карточка не сообщает о поддерживаемых языках, поэтому языковой охват не уточняется.
В README упомянута сегментация экземпляров, но подробности о точности, наборах данных и ограничениях не приведены. Поддерживаемые языки карточкой не обозначены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
🤗Data | 📄Paper | 🚀Code | 💻Model | 🔥Citation
This model could be used for instance segmentation
@article{yang2023lisa++,
title={Lisa++: An improved baseline for reasoning segmentation with large language model},
author={Yang, Senqiao and Qu, Tianyuan and Lai, Xin and Tian, Zhuotao and Peng, Bohao and Liu, Shu and Jia, Jiaya},
journal={arXiv preprint arXiv:2312.17240},
year={2023}
}
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…