/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
6,6 млрд
Размер весов
27 ГБ
Лицензия
Apache 2.0
Архитектура
llava · dense
Библиотека
transformers
Опубликована
12 июн 2023

KoLLaVA-KoVicuna-7b

Генерация текстаТекст → текст3 профессии

Корейская мультимодальная модель семейства LLaVA для ответов на вопросы об изображениях и генерации текста.

86скачиваний за 30 дней13лайковвеса обновлены25 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KoLLaVA-KoVicuna-7b — мультимодальная модель семейства LLaVA, разработанная tabtoyou. Она объединяет языковую модель KoVicuna с визуальным энкодером CLIP ViT-14 и обучена на корейских данных с визуальными инструкциями. Модель предназначена для диалога по изображениям и генерации текстовых ответов на вопросы о визуальном содержимом.

Модель содержит 6,6 млрд параметров, использует архитектуру LlavaLlamaForCausalLM, работает через Transformers и принимает контекст длиной до 2048 токенов. Основной язык карточки — корейский. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. В метаданных основная задача указана как text-generation, хотя модель также обрабатывает изображения.

Сценарии применения

  • ответы на вопросы о содержимом изображения на корейском языке
  • описание изображений в диалоге
  • визуальные инструкции с текстовым ответом

Ограничения

Контекст ограничен 2048 токенами, а обучение ориентировано на корейские визуальные инструкции; качество для других языков и изображений может быть ниже.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

KoLLaVA : Korean Large Language and Vision Assistant (feat. LLaVA)

This model is a large multimodal model (LMM) that combines the LLM(KoVicuna) with visual encoder of CLIP(ViT-14), trained on Korean visual-instruction dataset.

Detail codes are available at KoLLaVA github repository

Training hyperparameters

  • learning rate : 2e-5
  • train_batch_size: 16
  • distributed_type: multi-GPU (A100 80G)
  • num_devices: 4
  • gradient_accumulation_steps: 1
  • total_train_batch_size: 64
  • total_eval_batch_size: 16
  • lr_scheduler_type: cosine
  • num_epochs: 1

Model License: Apache License 2.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlavaLlamaForCausalLM
Ревизия весов
025a479

0 моделей