NOTE: This "delta model" cannot be used directly. It should be merged with the LLaMA-13B checkpoint.
For more information, please refer to LLaVAR project page, Github repo, and paper.
Характеристики
- Контекст
- 2 048 токенов
- Параметры
- 12,9 млрд
- Размер весов
- 26 ГБ
- Лицензия
- Apache 2.0
- Архитектура
- llava · dense
- Опубликована
- 5 июл 2023
Ссылки
LLaVAR_delta
Дельта-веса LLaVAR для объединения с LLaMA-13B и последующей генерации ответов на запросы об изображениях.
98скачиваний за 30 дней15лайковвеса обновлены25 авг 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SALT-NLP/LLaVAR_delta — дельта-веса мультимодальной модели LLaVAR от команды SALT-NLP. Репозиторий содержит не самостоятельную модель: дельту необходимо объединить с контрольной точкой LLaMA-13B, после чего модель предназначена для генерации текста по запросам и изображениям. В метаданных указаны архитектура LlavaLlamaForCausalLM, 12,9 млрд параметров, контекст 2048 токенов, поддержка английского языка и формат PyTorch.
Модель относится к семейству LLaVA и рассчитана на сценарии визуальных вопросов и ответов и описания изображений после объединения весов с базовой моделью. Лицензия репозитория — Apache-2.0. Саму дельту нельзя запускать отдельно; README не содержит дополнительных сведений о качестве и ограничениях полученной модели.
Сценарии применения
- ответы на вопросы по изображению после объединения весов
- создание описаний изображений
- визуальный диалог на английском языке
Ограничения
Дельта-веса нельзя использовать самостоятельно: их необходимо объединить с контрольной точкой LLaMA-13B. Контекст ограничен 2048 токенами.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953моделиI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- LlavaLlamaForCausalLM
- Ревизия весов
- a2b88da