/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,2 млрд
Размер весов
15,9 ГБ
Лицензия
Apache 2.0
Архитектура
llava-jp · dense
Опубликована
16 авг 2024

Tanuki-8B-vision

Генерация текстаТекст → текст3 профессии

Экспериментальная визуально-языковая модель на основе LLaVA 1.5 для диалога и ответов на вопросы об изображениях, ориентированная на японский язык.

16скачиваний за 30 дней8лайковвеса обновлены31 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Tanuki-8B-vision — визуально-языковая модель проекта GENIAC Matsuo Lab, построенная на основе LLaVA 1.5. В качестве языковой модели используется Tanuki-8B phase1, а для кодирования изображений — google/siglip-so400m-patch14-384. Модель насчитывает 7,2 млрд параметров, имеет контекст 8192 токена и распространяется в формате safetensors по лицензии Apache-2.0.

Модель предназначена для диалога и генерации текста по изображениям, включая ответы на вопросы о визуальном содержимом. Проект ориентирован на японский язык; разработчики создавали её экспериментально, используя синтетические данные для расширения доступного набора японских данных для коммерчески применимых VLM. Карточка упоминает оценку на лидерборде Heron VLM с помощью GPT-4, но не приводит численных результатов. Ожидаемое ограничение — качество может зависеть от японского языка и сценариев, представленных в обучающих данных; разработка проводилась как эксперимент участниками проекта, а не как основная цель проекта GENIAC.

Сценарии применения

  • ответы на вопросы о содержимом изображения на японском языке
  • описание объектов и сцен на изображениях
  • диалог по загруженной фотографии
  • извлечение визуальных сведений для японского пользовательского интерфейса

Ограничения

Модель разрабатывалась экспериментально, поэтому её качество и надёжность могут различаться между сценариями. В README не приведены численные результаты оценки или подробные ограничения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Tanuki-8B-vision

モデルについて

Tanuki-8B-visionは、LLaVA1.5に基づく視覚言語モデルです。言語モデルとして、Tanuki-8bのphase1モデル、画像エンコーダとしてgoogle/siglip-so400m-patch14-384を使用しています。

背景

  • 近年、視覚言語モデル(VLM)が注目されている一方で、商用利用可能な日本語データセットは限られています。本プロジェクトでは、データの合成を活用してこの課題に取り組むとともに、80億パラメータ(Tanuki-8B-vision)および500億パラメータ(Tanuki-8x8B-vision-exp)のVLMを開発しました
  • VLM開発は、GENIAC 松尾研 LLM開発プロジェクトの主要な開発目標としてではなく、有志の参加者によって実験的に行われました

使用したコード

学習

https://github.com/matsuolab/nedo_project_code/tree/team_hatakeyama_phase2/team_hatakeyama_phase2/multimodal/LLaVA-JP

データ合成

https://github.com/matsuolab/nedo_project_code/tree/team_hatakeyama_phase2/team_hatakeyama_phase2/multimodal/create-data-for-vlm

評価

https://github.com/matsuolab/nedo_project_code/tree/team_hatakeyama_phase2/team_hatakeyama_phase2/multimodal/heron

使い方

colab(model_pathは要変更)

https://github.com/matsuolab/nedo_project_code/blob/team_hatakeyama_phase2/team_hatakeyama_phase2/multimodal/LLaVA-JP/demo_llava_gradio.ipynb

ローカル

https://github.com/matsuolab/nedo_project_code/blob/team_hatakeyama_phase2/team_hatakeyama_phase2/multimodal/LLaVA-JP/demo_llava_gradio.py

評価

Heron VLM リーダーボード

GPT-4による評価 (gpt-4-turbo-2024-04-09) image/png

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура llava-jp неизвестна transformers в образе рантайма.

Класс архитектуры
LlavaLlamaForCausalLM
Ревизия весов
a5ff088

0 моделей