/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
17,1 ГБ
Архитектура
mgm · dense
Опубликована
2 мая 2024

MGM-8B-HD

Генерация текстаТекст → текст3 профессии

MGM-8B-HD — мультимодальная чат-модель на базе Llama 3, предназначенная для диалога и понимания изображений высокого разрешения.

33скачиваний за 30 дней6лайковвеса обновлены4 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MGM-8B-HD — открытая мультимодальная чат-модель, разработанная авторами MGM путём дообучения Meta-Llama-3-8B-Instruct на наборе MGM-Instruction с инструкциями, сгенерированными GPT. Это плотная модель семейства MGM примерно на 7,5 млрд параметров с контекстом до 8192 токенов; репозиторий содержит веса в формате safetensors.

Модель предназначена для диалога и работы с изображениями высокого разрешения: она поддерживает понимание изображений, рассуждения по ним и генерацию изображений. Её можно применять для исследовательских прототипов мультимодальных чат-ботов и задач компьютерного зрения с текстовыми инструкциями. Карточка указывает исследовательское и любительское применение; лицензия в предоставленных данных не приведена.

Сценарии применения

  • ответы на вопросы по изображениям высокого разрешения
  • диалог с визуальным контекстом
  • рассуждение по содержимому изображения
  • создание исследовательских прототипов мультимодальных чат-ботов

Ограничения

Карточка описывает модель как предназначенную прежде всего для исследований; качество на конкретных задачах и ограничения не приведены. Генерация изображений заявлена в README, но метаданные указывают только задачу text-generation.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MGM-8B-HD Model Card

Model details

The framework supports a series of dense and MoE Large Language Models (LLMs) from 2B to 34B with HD image understanding, reasoning, and generation simultaneously.

Normal resolution setting: MGM-2B, MGM-7B, MGM-8B, MGM-13B, MGM-8x7B, MGM-34B

High resolution setting: MGM-7B-HD, MGM-13B-HD, MGM-8x7B-HD, MGM-34B-HD

Model type: MGM is an open-source chatbot trained by fine-tuning LLaMA/Vicuna on GPT-generated multimodal instruction-following data.

It empowers existing frameworks to support HD image understanding, reasoning, and generation simultaneously.

Model version: MGM with LLM Meta-Llama-3-8B-Instruct

Model date: MGM-8B-HD was trained on 04/2024.

License

Llama 3 is licensed under the LLAMA 3 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.

Where to send questions or comments about the model: https://github.com/dvlab-research/MGM/issues

Intended use

Primary intended uses: The primary use is research on large multimodal models and chatbots.

Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

Training data

This model is trained based on MGM-Instruction dataset, please to the Github for more detail.

Acknowledgement

This project is not affiliated with Google LLC.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура mgm неизвестна transformers в образе рантайма.

Класс архитектуры
MGMLlamaForCausalLM
Ревизия весов
873997c

0 моделей