Модель основана на Vicuna-13B-v1.5 и разработана для исследовательских задач в области больших мультимодальных моделей, компьютерного зрения, обработки естественного языка и чат-ботов. Репозиторий содержит обновлённые варианты квантования и projector, совместимые с экосистемой llama.cpp.

Модель представляет собой авторегрессионную трансформерную языковую модель, дообученную на данных для мультимодального следования инструкциям. Она обрабатывает изображения и текст, поддерживая сценарии визуальных вопросов и ответов, описания изображений и диалоговое взаимодействие по визуальному содержимому. В обучении использовались пары изображение—текст, мультимодальные инструкции, академические наборы VQA и данные ShareGPT. Языки, максимальная длина контекста и точные характеристики визуального энкодера в README не указаны.

Доступны варианты квантования от Q3_K_XS размером 5,31 ГБ до Q8_0 размером 13,8 ГБ. Q4_K_M объёмом 7,87 ГБ обозначен как сбалансированный рекомендуемый вариант, а Q5_K_S и Q5_K_M — как варианты с меньшей потерей качества. Квантирование уменьшает требования к памяти, но может снижать качество по сравнению с исходной моделью; степень снижения зависит от выбранного варианта. Модель предназначена прежде всего для исследователей и энтузиастов, а не для заявленных высокорисковых производственных сценариев.

Для производных GGUF-файлов указана лицензия Apache-2.0, тогда как базовая Llama 2, использованная в составе исходной модели, распространяется по Llama 2 Community License; условия обеих лицензий следует учитывать при использовании.