/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,7 ГБ
Лицензия
Apache 2.0
Архитектура
llava_llama · dense
Опубликована
26 мая 2024

sharegpt4video-8b

Генерация текстаТекст → текст3 профессии

ShareGPT4Video-8B — видеоязычный чатбот на базе LLaVA/LLaMA для описания видео и ответов на вопросы о его содержимом.

69скачиваний за 30 дней45лайковвеса обновлены1 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ShareGPT4Video-8B — открытая видеоязыковая модель-чатбот, разработанная авторами ShareGPT4Video. Модель LLaVA на базе LLaMA с плотной архитектурой содержит 7,5 млрд параметров; её дообучили целиком на открытых инструкционных данных о видео. В карточке указаны наборы ShareGPT4Video и Lin-Chen/ShareGPT4V, а контекст составляет 8192 токена.

Модель предназначена для диалога о видео: она принимает видеоданные и текстовые инструкции, чтобы описывать содержимое роликов и отвечать на вопросы о них. Основные сценарии — исследования крупных видеоязыковых моделей и прототипирование видеочатботов. README называет исследователей и энтузиастов компьютерного зрения, NLP и машинного обучения целевой аудиторией.

Модель обучена в мае 2024 года и опубликована под лицензией Apache-2.0. Возможности и качество зависят от используемого видеопроцессинга и реализации из репозитория; README не приводит оценки качества и подробно не описывает ограничения модели.

Сценарии применения

  • ответы на вопросы о содержимом видео
  • создание диалогового интерфейса для анализа роликов
  • генерация описаний и подписей к видео
  • исследование видеоязыковых моделей
  • прототипирование видеочатботов

Ограничения

README не приводит результатов сравнительной оценки или подробного перечня ограничений. Модель описана прежде всего как исследовательская и экспериментальная основа для видеоязыковых приложений.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

sharegpt4video-8b Model Card

Model details

Model type: sharegpt4video-8b is an open-source video chatbot trained by fine-tuning the entire model on open-source video instruction data. The training process takes around 5 hour on 32xA100 GPUs.

Model date: sharegpt4video-8b was trained in May 2024.

Paper or resources for more information: [Code] [Project Page]

Usage

You can utilize this model as we provide in our [repository].

Training dataset

All training data are open-sourced, you can find the usage in our repository.

  • 153K collection of various video instruction data
  • 28K high-quality video caption data from [ShareGPT4Video]

Intended use

Primary intended uses: The primary use of sharegpt4video-8b is research on large video-language models and video chatbots.

Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

Paper

arxiv.org/abs/2406.04325

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура llava_llama неизвестна transformers в образе рантайма.

Класс архитектуры
LlavaLlamaForCausalLM
Ревизия весов
a506887

0 моделей