Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 16,9 ГБ
Лицензия: Llama 3
Архитектура: llava_llama · dense
Опубликована: 24 мая 2024

Ссылки

Hugging Face arXiv 2405.13800

DenseConnector-v1.5-8B

HuanjinYao

Генерация текстаТекст → текст3 профессии

Мультимодальный чат-бот на базе Llama-3-8B-Instruct для ответов на вопросы об изображениях и генерации текста.

27скачиваний за 30 дней6лайковвеса обновлены26 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DenseConnector-v1.5-8B — открытый мультимодальный чат-бот, разработанный на основе Llama-3-8B-Instruct и дообученный на наборе инструкций LLaVA-1.5. Это авторегрессионная модель на архитектуре Transformer с визуальным коннектором семейства LLaVA-LLaMA; размер составляет 7,5 млрд параметров, контекст — 8192 токена.

Модель предназначена для диалога по изображениям и генерации текстовых ответов на вопросы о визуальном содержимом. Её можно применять в прототипах мультимодальных чат-ботов и исследованиях компьютерного зрения и обработки естественного языка. В README указана лицензия Llama 3 (llama3); перед использованием следует учитывать её условия.

Сценарии применения

ответы на вопросы о содержимом изображения
описание изображений в диалоговом формате
создание прототипа мультимодального чат-бота

Ограничения

В README не приведены количественные оценки качества и ограничения по типам изображений; результаты могут зависеть от качества и содержания входного изображения. Использование регулируется условиями лицензии Llama 3.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DenseConnector-v1.5-8B Model Card

Model details

Model type: DenseConnector is an open-source chatbot trained by fine-tuning LLaMA/Vicuna on GPT-generated multimodal instruction-following data. It is an auto-regressive language model, based on the transformer architecture.

Model date: DenseConnector-v1.5-8B was trained in 05/2024.

Paper or resources for more information: https://github.com/HJYao00/DenseConnector

Paper on Hugging Face: arxiv.org/abs/2405.13800

Training datase:t This model is trained on LLaVA-1.5 dataset.

Large Language Model: Llama-3-8B-Instruct

License

Where to send questions or comments about the model: https://github.com/HJYao00/DenseConnector/issues

Intended use

Primary intended uses: The primary use of DenseConnector is research on large multimodal models and chatbots.

Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура llava_llama неизвестна transformers в образе рантайма.

Класс архитектуры: LlavaLlamaForCausalLM
Ревизия весов: b761bf3