Дообученная на LISA ReasonSeg и OpenImages16Prompted мультимодальная LISA-13B сегментирует объекты на изображениях по текстовым запросам.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
OpenImages16 Prompted Mixed LISA-13B LoRA-only — дообученная мультимодальная модель на базе LISA-13B, созданная для сегментации объектов на изображениях по текстовым запросам. Разработчик дообучил её только через LoRA на данных LISA ReasonSeg и OpenImages16Prompted в течение одной эпохи с learning rate 1e-5; обучаемыми были 6 553 600 параметров.
Модель принимает изображение и текстовый запрос, а для сегментируемого объекта формирует текстовый ответ и результат сегментации. Архитектура — LLaVA/LISAForCausalLM с 12,9 млрд параметров; контекст — 4096 токенов. На валидации указаны gIoU 0,5347 и cIoU 0,7039. Для запуска требуются кодовая база LISA и чекпойнт SAM ViT-H. Лицензия обозначена как other, поэтому условия её использования следует проверять в репозитории модели и базовой модели.
Для инференса необходимы кодовая база LISA и чекпойнт SAM ViT-H. Указанная лицензия — other; точные условия использования следует уточнить в карточке модели и базовой модели.
README от автора на Hugging Face, как он его опубликовал
Fine-tuned from xinlai/LISA-13B-llama2-v1.
Training data:
Training setting:
This model requires the LISA codebase and SAM ViT-H checkpoint for inference.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…