Предварительная мультимодальная модель LLaVA на 6,6 млрд параметров для ответов на текстовые инструкции об изображениях, включая задачи визуального восприятия низкого уровня.
58скачиваний за 30 дней5лайковвеса обновлены14 ноя 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
teowu/llava_v1.5_7b_qinstruct_preview_v0.1 — предварительная версия мультимодальной модели LLaVA, связанной с проектом Q-Instruct и авторами исследования «Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models». Это незавершённые веса, предназначенные для изучения и оценки возможностей визуальных языковых моделей в задачах восприятия изображений низкого уровня.
Модель имеет плотную архитектуру LlavaLlamaForCausalLM на базе LLaVA и содержит 6,6 млрд параметров. Она принимает изображения и текстовые инструкции и генерирует текстовые ответы; заявленный контекст — 4096 токенов. В карточке указаны датасеты Q-Instruct и LLaVA-Instruct-150K, формат PyTorch и лицензия Apache-2.0. Английский указан среди языков карточки.
Поскольку это preview с незавершёнными весами, качество и стабильность результатов могут быть ограничены; для ответственных прикладных сценариев модель следует предварительно оценить.
Сценарии применения
ответы на вопросы об изображениях
описание визуальных деталей и низкоуровневых признаков изображений
эксперименты с визуально-языковыми инструкциями
оценка возможностей мультимодальных моделей
Ограничения
Это preview-версия с незавершёнными весами, поэтому качество и стабильность ответов могут быть ограничены. Контекст модели составляет 4096 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a preview version of the Q-Instruct LLaVA. Non-finalized weights.
@misc{wu2023qinstruct,
title={Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models},
author={Haoning Wu and Zicheng Zhang and Erli Zhang and Chaofeng Chen and Liang Liao and Annan Wang and Kaixin Xu and Chunyi Li and Jingwen Hou and Guangtao Zhai and Geng Xue and Wenxiu Sun and Qiong Yan and Weisi Lin},
year={2023},
eprint={2311.06783},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров