Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SESAME_minus — открытая мультимодальная модель, обученная дообучением LLaVA на инструкционных данных для привязки изображений и сегментации. Это базовая модель для сегментации по текстовой инструкции, предназначенная для экспериментов с мультимодальными моделями и чат-ботами; целевая аудитория — исследователи и энтузиасты компьютерного зрения, NLP и машинного обучения. Модель содержит 6,6 млрд параметров, построена на архитектуре LLaVA и имеет контекст длиной 4096 токенов.
В качестве обучающих данных использовался набор RefCOCO(+/g). Репозиторий содержит веса PyTorch, лицензия — MIT. Карточка описывает модель как исследовательскую основу для сегментации, поэтому её качество в прикладных сценариях следует проверять отдельно.
Сценарии применения
сегментация объекта на изображении по текстовому описанию
привязка текстового запроса к области изображения
эксперименты с инструкционной сегментацией изображений
исследование мультимодальных чат-ботов с визуальным вводом
Ограничения
Модель описана как базовый исследовательский вариант; карточка не приводит оценок качества и ограничений для прикладного использования. Метаданные классифицируют её как text-generation, поэтому специализированный вывод сегментационных масок отдельно не подтверждён.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Model type: SESAME_minus is an open-source multimodal model trained by fine-tuning LLaVA on various instruction-based image grounding (segmentation) data. It is an instruction-baed segmentation model basically, serving as a baseline.
Primary intended uses: The primary use of SESAME is research on large multimodal models and chatbots.
Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.
Training dataset: RefCOCO(+/g)
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров