SESAME — дообученная на данных визуального заземления и сегментации мультимодальная модель LLaVA для ответов на вопросы об изображениях и сегментации по текстовому запросу.
306скачиваний за 30 дней2лайкавеса обновлены16 июн 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SESAME — открытая мультимодальная модель, созданная дообучением LLaVA на инструкционных данных для привязки изображений к текстовым описаниям и сегментации. Это авторегрессионная языковая модель, объединённая с моделью сегментации; архитектура относится к семейству LLaVA и содержит 6,6 млрд параметров. Модель принимает текстовые инструкции и изображения, а также может выдавать текстовые ответы и результаты сегментации.
SESAME предназначена для экспериментов с мультимодальными моделями и чат-ботами, в частности для визуального заземления и сегментации по текстовым запросам. В обучении использованы данные RefCOCO, RefCOCO+ и RefCOCOg, а также набор визуальных вопросов и ответов LLaVA 150K. Контекст составляет 4096 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT.
Сценарии применения
ответы на вопросы об изображениях
поиск и заземление объекта по текстовому описанию
сегментация объектов по текстовой инструкции
эксперименты с мультимодальными чат-ботами
Ограничения
Модель описана как исследовательская и экспериментальная; её результаты зависят от качества текстового запроса и изображения. README не приводит оценки качества или подробные сведения о поддерживаемых языках.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Model type: SESAME is an open-source multimodal model trained by fine-tuning LLaVA on various instruction-based image grounding (segmentation) data. It is an auto-regressive language model plus a segmentation model.
Primary intended uses: The primary use of SESAME is research on large multimodal models and chatbots.
Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.
Training dataset: (FP-/R-)RefCOCO(+/g) + LLaVA 150K VQA data
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров