Мультимодальная модель на базе LISA-13B выделяет объекты на изображениях по текстовым запросам и может обосновывать результат.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
OpenImages16 Prompted Mixed LISA-13B — дообученная модель ken101do для сегментации объектов на изображениях по текстовым запросам. Она создана на базе xinlai/LISA-13B-llama2-v1 с помощью LoRA на данных LISA ReasonSeg и OpenImages16Prompted; декодер масок SAM во время обучения был заморожен. Модель насчитывает 12,9 млрд параметров, использует архитектуру LLaVA и контекст до 4096 токенов.
Модель предназначена для поиска и выделения запрошенных объектов на изображениях, в том числе по сложным запросам с рассуждением. Валидационные показатели составили gIoU 0,2733 и cIoU 0,4910. Для запуска нужны кодовая база LISA и контрольная точка SAM ViT-H. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.
Для инференса требуются кодовая база LISA и контрольная точка SAM ViT-H. Валидационные метрики приведены в README, но без описания протокола оценки.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Fine-tuned from xinlai/LISA-13B-llama2-v1.
Training data:
Training setting:
This model requires the LISA codebase and SAM ViT-H checkpoint for inference.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…