/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
6,6 млрд
Размер весов
16,8 ГБ
Лицензия
Apache 2.0
Архитектура
llava · dense
Опубликована
26 дек 2023

GLaMM-FullScope

Генерация текстаТекст → текст3 профессии

Дообученная мультимодальная модель MBZUAI для диалогов по изображениям, сегментации по выражению, описания регионов и визуальных ответов на вопросы.

120скачиваний за 30 дней7лайковвеса обновлены27 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GLaMM-FullScope — мультимодальная модель семейства LLaVA, разработанная MBZUAI и дообученная на открытых наборах данных для объединения возможностей GLaMM. Она принимает изображения и текстовые запросы и генерирует текстовые ответы, связанные с содержимым изображения.

Модель предназначена для диалогов с привязкой ответов к областям изображения, сегментации объектов по выражениям, описания отдельных регионов и целых изображений, а также визуальных ответов на вопросы. В метаданных указаны 6,6 млрд параметров, контекст 4096 токенов, формат PyTorch и лицензия Apache-2.0.

Карточка не приводит оценки качества или подробностей об ограничениях; возможности сегментации заявлены в описании, однако способ представления масок и конкретные входные форматы не уточнены.

Сценарии применения

  • ответы на вопросы о содержимом изображения
  • диалог с указанием областей изображения
  • сегментация объекта по текстовому выражению
  • создание описания выбранной области изображения
  • генерация подписи к изображению

Ограничения

Карточка не сообщает результаты оценки качества и не уточняет ограничения по входным форматам. Хотя модель заявлена для сегментации, метаданные классифицируют её только как text-generation, а формат выдачи масок не описан.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

👁️ GLaMM-FullScope


📝 Description

GLaMM-FullScope encompasses all capabilities of GLaMM, which is mixed finetuned with many open-source datasets. "Full" signifies its comprehensive nature, incorporating the full range of GLaMM capabilities including Grounded Conversation Generation (GCG), Referring Expression Segmentation, Region-level Captioning, Image-level captioning and Visual Question Answering.

💻 Download

To get started with GLaMM-FullScope, follow these steps:

git lfs install
git clone https://huggingface.co/MBZUAI/GLaMM-FullScope

📚 Additional Resources

📜 Citations and Acknowledgments

  @article{hanoona2023GLaMM,
          title={GLaMM: Pixel Grounding Large Multimodal Model},
          author={Rasheed, Hanoona and Maaz, Muhammad and Shaji, Sahal and Shaker, Abdelrahman and Khan, Salman and Cholakkal, Hisham and Anwer, Rao M. and Xing, Eric and Yang, Ming-Hsuan and Khan, Fahad S.},
          journal={ArXiv 2311.03356},
          year={2023}
  }

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
GLaMMForCausalLM
Ревизия весов
95a4ab0

0 моделей