Экспериментальная визуально-языковая модель на основе LLaVA 1.5 для диалога и ответов на вопросы об изображениях, ориентированная на японский язык.
16скачиваний за 30 дней8лайковвеса обновлены31 авг 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Tanuki-8B-vision — визуально-языковая модель проекта GENIAC Matsuo Lab, построенная на основе LLaVA 1.5. В качестве языковой модели используется Tanuki-8B phase1, а для кодирования изображений — google/siglip-so400m-patch14-384. Модель насчитывает 7,2 млрд параметров, имеет контекст 8192 токена и распространяется в формате safetensors по лицензии Apache-2.0.
Модель предназначена для диалога и генерации текста по изображениям, включая ответы на вопросы о визуальном содержимом. Проект ориентирован на японский язык; разработчики создавали её экспериментально, используя синтетические данные для расширения доступного набора японских данных для коммерчески применимых VLM. Карточка упоминает оценку на лидерборде Heron VLM с помощью GPT-4, но не приводит численных результатов. Ожидаемое ограничение — качество может зависеть от японского языка и сценариев, представленных в обучающих данных; разработка проводилась как эксперимент участниками проекта, а не как основная цель проекта GENIAC.
Сценарии применения
ответы на вопросы о содержимом изображения на японском языке
описание объектов и сцен на изображениях
диалог по загруженной фотографии
извлечение визуальных сведений для японского пользовательского интерфейса
Ограничения
Модель разрабатывалась экспериментально, поэтому её качество и надёжность могут различаться между сценариями. В README не приведены численные результаты оценки или подробные ограничения.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель