Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 15,1 ГБ
Лицензия: Apache 2.0
Архитектура: llava_mistral · dense
Опубликована: 12 окт 2023

Ссылки

BakLLaVA-1

Генерация текстаТекст → текст3 профессии

BakLLaVA-1 — мультимодальная модель на базе Mistral 7B и архитектуры LLaVA 1.5 для диалога и ответов на вопросы по изображениям.

138скачиваний за 30 дней378лайковвеса обновлены23 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BakLLaVA-1 — мультимодальная модель SkunkworksAI, созданная в сотрудничестве с Ontocord и LAION. Она сочетает базовую Mistral 7B с архитектурой LLaVA 1.5 и предназначена для диалога по изображениям, ответов на визуальные вопросы и выполнения инструкций с изображениями. В обучении использованы пары изображение—текст и наборы мультимодальных инструкций и вопросов с ответами; также упомянуты данные ShareGPT.

В репозитории указаны 7,1 млрд параметров, контекст до 32 768 токенов, архитектура LlavaMistralForCausalLM и формат PyTorch. Карточка приводит результаты, согласно которым модель превосходит Llama 2 13B на нескольких бенчмарках, но не называет сами тесты. Лицензия в метаданных — Apache 2.0; при этом авторы предупреждают, что часть обучающих данных включает корпус LLaVA с ограничениями на коммерческое использование, поэтому условия лицензии модели не снимают связанных с данными ограничений.

Сценарии применения

ответы на вопросы о содержимом изображения
диалог с пользователем по загруженной фотографии
создание подписей и описаний изображений
выполнение инструкций, связанных с изображением
решение визуальных вопросов и академических заданий

Ограничения

Авторы отмечают, что часть обучающих данных включает корпус LLaVA, который не разрешает коммерческое использование; это может ограничивать коммерческое применение модели. Заявление о превосходстве над Llama 2 13B относится к нескольким бенчмаркам, названия и результаты которых в карточке не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Thank you to our compute sponsors Together Compute (www.together.ai). In collaboration with Ontocord (www.ontocord.ai) and LAION (www.laion.ai).

image/png

BakLLaVA 1 is a Mistral 7B base augmented with the LLaVA 1.5 architecture. In this first version, we showcase that a Mistral 7B base outperforms Llama 2 13B on several benchmarks. You can run BakLLaVA-1 on our repo. We are currently updating it to make it easier for you to finetune and inference. (https://github.com/SkunkworksAI/BakLLaVA).

Note: BakLLaVA-1 is fully open-source but was trained on certain data that includes LLaVA's corpus which is not commercially permissive. We will fix this in the upcoming release.

BakLLaVA 2 is cooking with a significantly larger (commercially viable) dataset and a novel architecture that expands beyond the current LLaVA method. BakLLaVA-2 will do away with the restrictions of BakLLaVA-1.

Evaluations

image/png

Training dataset

558K filtered image-text pairs from LAION/CC/SBU, captioned by BLIP.
158K GPT-generated multimodal instruction-following data.
450K academic-task-oriented VQA data mixture.
40K ShareGPT data.
Additional private data (permissive)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура llava_mistral неизвестна transformers в образе рантайма.

Класс архитектуры: LlavaMistralForCausalLM
Ревизия весов: d8e5fd9