Характеристики

Лицензия: Apache 2.0
Опубликована: 2 фев 2024

Ссылки

llava-1.6-gguf

Изображение и текст → текст3 профессии

cmp-nct/llava-1.6-gguf — это мультимодальная модель семейства LLaVA 1.6 в формате GGUF, предназначенная для задач преобразования изображения и текста в текст.

4 035скачиваний за 30 дней75лайковвеса обновлены21 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель связана с оригинальными разработками LLaVA, опубликованными командой Haotian Liu, а данный вариант ориентирован на использование с llama.cpp.

Модель поддерживает анализ изображений и ответы на вопросы по их содержимому. В состав входят визуальный энкодер ViT и соответствующий mmproj-файл, который связывает визуальные признаки с языковой моделью. README не указывает точный размер языковой части, используемую базовую архитектуру, поддерживаемые языки и размер контекстного окна. Для LLaVA 1.6 необходимо использовать совместимые версии llama.cpp и правильный mmproj-файл; применение компонентов от LLaVA 1.5 может привести к некорректной работе. Также для разных вариантов тонкой настройки могут требоваться специальные параметры запуска.

К сильным сторонам относятся мультимодальное понимание изображений, поддержка GGUF и возможность запуска через llama.cpp, включая использование смешанных уровней квантования для модели и визуального проектора. Ограничения и точные характеристики зависят от базовой модели и выбранной квантизации и не раскрыты в представленном README. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Update: PR is merged, llama.cpp now natively supports these models
Important: Verify that processing a simple question with any image at least uses 1200 tokens of prompt processing, that shows that the new PR is in use. If your prompt is just 576 + a few tokens, you are using llava-1.5 code (or projector) and this is incompatible with llava-1.6

note Keep in mind the different fine tunes as described in the llama.cpp llava readme, it's essential to use the non defaults for non vicuna models

The mmproj files are the embedded ViT's that came with llava-1.6, I've not compared them but given the previous releases from the team I'd be surprised if the ViT has not been fine tuned this time. If that's the case, using another ViT can cause issues.
You need to use the mmproj of the right model but you can mix quantizations.

Original models: https://github.com/haotian-liu/LLaVA

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: f2c82be