/ Модель

Характеристики

Контекст
8 192 токена
Параметры
2,5 млрд
Размер весов
7,1 ГБ
Опубликована
26 мар 2024

MGM-2B

Генерация текстаТекст → текст3 профессии

MGM-2B — дообученный на мультимодальных инструкциях чат-бот на базе Gemma-2B-it для диалога и понимания изображений.

96скачиваний за 30 дней21лайквеса обновлены21 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MGM-2B — открытая чат-модель от разработчиков серии MGM, полученная дообучением Gemma-2B-it на мультимодальных инструкциях, сгенерированных GPT. Модель относится к семейству Mini-Gemini и содержит около 2,5 млрд параметров; в репозитории представлены веса Safetensors, а заявленная длина контекста составляет 8192 токена.

Модель предназначена для диалогов и мультимодального понимания изображений: она принимает текстовые инструкции и изображения, чтобы отвечать на вопросы о визуальном содержимом и рассуждать по нему. Карточка также описывает серию MGM как способную к генерации изображений, однако для этой конкретной модели такая возможность не подтверждена отдельно. Основные пользователи — исследователи и энтузиасты компьютерного зрения, обработки естественного языка и машинного обучения.

Модель обучена в марте 2024 года на наборе MGM-Instruction. README называет её открытой, но конкретная лицензия в предоставленных данных отсутствует. Возможности и качество могут уступать более крупным моделям серии; заявленное исследовательское назначение не гарантирует пригодность для критически важных сценариев.

Сценарии применения

  • вопросы и ответы по изображению
  • описание содержимого изображения в диалоге
  • рассуждения по визуальным инструкциям
  • исследовательские эксперименты с мультимодальными чат-моделями

Ограничения

Возможность генерации изображений для MGM-2B отдельно не подтверждена, несмотря на общее описание серии MGM. В предоставленных данных конкретная лицензия не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MGM-2B Model Card

Model details

The framework supports a series of dense and MoE Large Language Models (LLMs) from 2B to 34B with HD image understanding, reasoning, and generation simultaneously. You can also try our other MGM series models:

Normal resolution setting: MGM-7B, MGM-13B, MGM-8x7B, MGM-34B

High resolution setting: MGM-7B-HD, MGM-13B, MGM-8x7B-HD, MGM-34B-HD

Model type: MGM is an open-source chatbot trained by fine-tuning Gemma on GPT-generated multimodal instruction-following data.

It empowers existing frameworks to support HD image understanding, reasoning, and generation simultaneously.

Model version: MGM with LLM Gemma-2B-it

Model date: MGM-2B was trained on 03/2024.

License

Gemma is licensed under the Gemma Terms of Use License,

Where to send questions or comments about the model: https://github.com/dvlab-research/MGM/issues

Intended use

Primary intended uses: The primary use is research on large multimodal models and chatbots.

Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

Training data

This model is trained based on MGM-Instruction dataset, please to the Github for more detail.

Acknowledgement

This project is not affiliated with Google LLC.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура MiniGeminiGemmaForCausalLM неизвестна transformers в образе рантайма.

Класс архитектуры
MiniGeminiGemmaForCausalLM
Ревизия весов
a14155d

0 моделей