Характеристики

Контекст: 2 048 токенов
Параметры: 3,5 млрд
Размер весов: 11,2 ГБ
Лицензия: MIT
Архитектура: phi-llava · dense
Библиотека: transformers
Опубликована: 28 янв 2024

Ссылки

llava-phi-2-3b

Генерация текстаТекст → текст3 профессии

Мультимодальная LLaVA-Phi-2-3B принимает изображения и текстовые запросы, чтобы описывать изображения и отвечать на вопросы о них.

116скачиваний за 30 дней14лайковвеса обновлены29 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Мультимодальная модель LLaVA-Phi-2-3B разработана LAION, SkunkworksAI и Ontocord. Это авторегрессионная модель на архитектуре Transformer, созданная дообучением Phi-2 на мультимодальных данных для следования инструкциям; размер составляет около 3,5 млрд параметров. Модель принимает текстовые запросы и изображения и формирует текстовые ответы, например описывает содержимое изображения и отвечает на вопросы о нём.

Модель подходит для диалоговых сценариев с визуальным вводом, включая генерацию подписей к изображениям и ответы на вопросы по их содержимому. В карточке приведены результаты тестов на задачах визуальных вопросов и распознавания текста на изображениях. Указаны английский язык и контекст длиной 2048 токенов. Репозиторий содержит веса в формате Safetensors, использовать модель можно по лицензии MIT.

Сценарии применения

ответы на вопросы о содержимом изображения
генерация подписей к изображениям
диалог с пользователем по визуальному содержимому
чтение текста на изображениях в формате вопроса и ответа

Ограничения

Контекст модели ограничен 2048 токенами. В приведённом сравнении качество генерации подписей на MS COCO ниже, чем у LLaVA-1.5-7B.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for LLaVa-Phi-2-3B

Model Details

Model Description

Developed by: LAION, SkunkworksAI & Ontocord
Model type: LLaVA is an open-source chatbot trained by fine-tuning Phi-2 on GPT-generated multimodal instruction-following data. It is an auto-regressive language model, based on the transformer architecture
Finetuned from model: Phi-2
License: MIT
Demo: llava-phi-2-3b-demo

Model Sources

Repository: BakLLaVa

Evaluation

Benchmarks

Model	Parameters	SQA	GQA	TextVQA	POPE
LLaVA-1.5	7.3B	68.0	62.0	58.3	85.3
MC-LLaVA-3B	3B	-	49.6	38.59	-
LLaVA-Phi	3B	68.4	-	48.6	85.0
moondream1	1.6B	-	56.3	39.8	-
llava-phi-2-3b	3B	69.0	51.2	47.0	86.0

Image Captioning (MS COCO)

Model	BLEU_1	BLEU_2	BLEU_3	BLEU_4	METEOR	ROUGE_L	CIDEr	SPICE
llava-1.5-7b	75.8	59.8	45	33.3	29.4	57.7	108.8	23.5
llava-phi-2-3b	67.7	50.5	35.7	24.2	27.0	52.4	85.0	20.7

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: LlavaPhiForCausalLM
Ревизия весов: 1929e5e