/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
6,6 млрд
Размер весов
14,5 ГБ
Опубликована
26 мар 2024

MGM-7B

Генерация текстаТекст → текст3 профессии

MGM-7B — дообученный на мультимодальных инструкциях чат-бот на основе Vicuna-7B-v1.5 для диалога и рассуждений по изображениям.

575скачиваний за 30 дней8лайковвеса обновлены21 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MGM-7B — открытый мультимодальный чат-бот, созданный дообучением Vicuna-7B-v1.5 на наборе инструкций MGM-Instruction, сгенерированных GPT. Модель разработана для исследований и экспериментов с большими мультимодальными моделями и поддерживает диалог по изображениям, их понимание и рассуждения; семейство MGM также заявляет генерацию изображений, но карточка этой версии не подтверждает её отдельно.

Это плотная модель класса MiniGeminiLlamaForCausalLM с 6,6 млрд параметров и контекстом 4096 токенов. Репозиторий содержит веса Safetensors. В карточке не указаны лицензия и конкретные языки; применимость за пределами исследовательских сценариев не описана.

Сценарии применения

  • вопросы и ответы по изображениям
  • описание содержимого изображения в диалоге
  • исследование мультимодального общения с моделью
  • эксперименты с визуальными рассуждениями

Ограничения

Карточка не уточняет языки, лицензию и результаты оценки качества; заявленная генерация изображений относится к семейству MGM и отдельно для MGM-7B не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MGM-7B Model Card

Model details

The framework supports a series of dense and MoE Large Language Models (LLMs) from 2B to 34B with HD image understanding, reasoning, and generation simultaneously.

Normal resolution setting: MGM-2B, MGM-13B, MGM-8x7B, MGM-34B

High resolution setting: MGM-7B-HD, MGM-13B-HD, MGM-8x7B-HD, MGM-34B-HD

Model type: MGM is an open-source chatbot trained by fine-tuning LLaMA/Vicuna on GPT-generated multimodal instruction-following data.

It empowers existing frameworks to support HD image understanding, reasoning, and generation simultaneously.

Model version: MGM with LLM Vicuna-7B-v1.5

Model date: MGM-7B was trained on 03/2024.

License

Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.

Where to send questions or comments about the model: https://github.com/dvlab-research/MGM/issues

Intended use

Primary intended uses: The primary use is research on large multimodal models and chatbots.

Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

Training data

This model is trained based on MGM-Instruction dataset, please to the Github for more detail.

Acknowledgement

This project is not affiliated with Google LLC.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура MiniGeminiLlamaForCausalLM неизвестна transformers в образе рантайма.

Класс архитектуры
MiniGeminiLlamaForCausalLM
Ревизия весов
4dd6abe

0 моделей