/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
33,9 млрд
Размер весов
69,9 ГБ
Опубликована
24 мар 2024

MGM-34B

Генерация текстаТекст → текст4 профессии

MGM-34B — дообученный чат-бот на базе Nous-Hermes-2-Yi-34B для генерации текста и исследований мультимодальных моделей.

24скачиваний за 30 дней9лайковвеса обновлены21 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MGM-34B — открытый чат-бот с языковой моделью MiniGeminiLlamaForCausalLM на 33,9 млрд параметров. Его разработали посредством дообучения Nous-Hermes-2-Yi-34B на наборе мультимодальных инструкций MGM-Instruction, сгенерированных GPT. Карточка описывает MGM как семейство моделей для понимания изображений высокой чёткости, рассуждений и генерации; для этой версии метаданные подтверждают генерацию текста и чат, но не уточняют поддержку изображений именно в MGM-34B.

Модель предназначена для исследований и экспериментов с мультимодальными чат-ботами, пониманием изображений и рассуждениями. Контекст — 4096 токенов. Доступны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Сценарии применения

  • создание чат-бота для диалогов на естественном языке
  • эксперименты с генерацией текста на базе Yi-34B
  • исследование мультимодальных чат-ботов
  • изучение понимания изображений высокой чёткости в семействе MGM
  • эксперименты с рассуждениями языковых моделей

Ограничения

Поддержка обработки изображений описана для семейства MGM, но метаданные этой версии подтверждают только генерацию текста и чат. Лицензия и языки модели в предоставленных данных не определены.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MGM-34B Model Card

Model details

The framework supports a series of dense and MoE Large Language Models (LLMs) from 2B to 34B with HD image understanding, reasoning, and generation simultaneously. You can also try our other MGM series models:

Normal resolution setting: MGM-2B, MGM-7B, MGM-13B, MGM-8x7B

High resolution setting: MGM-7B-HD, MGM-13B, MGM-8x7B-HD, MGM-34B-HD

Model type: MGM is an open-source chatbot trained by fine-tuning Nous-Hermes-2-Yi-34B on GPT-generated multimodal instruction-following data.

It empowers existing frameworks to support HD image understanding, reasoning, and generation simultaneously.

Model version: MGM with LLM Nous-Hermes-2-Yi-34B

Model date: MGM-34B was trained on 03/2024.

License

Nous-Hermes-2-Yi-34B is licensed under the apache-2.0 License,

Where to send questions or comments about the model: https://github.com/dvlab-research/MGM/issues

Intended use

Primary intended uses: The primary use of MGM is research on large multimodal models and chatbots.

Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

Training data

This model is trained based on MGM-Instruction dataset, please to the Github for more detail.

Acknowledgement

This project is not affiliated with Google LLC.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура MiniGeminiLlamaForCausalLM неизвестна transformers в образе рантайма.

Класс архитектуры
MiniGeminiLlamaForCausalLM
Ревизия весов
0dc0777

0 моделей