Экспериментальная модель LLaVA на базе Tanuki и SigLIP для диалога и ответов на вопросы по изображениям.
21скачиваний за 30 дней5лайковвеса обновлены31 авг 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Tanuki-8x8B-vision-exp — экспериментальная визуально-языковая модель, разработанная участниками проекта GENIAC Matsuo Lab. Она основана на LLaVA 1.5: использует языковую модель Tanuki-8x8B-dpo-v1.0 на промежуточной стадии обучения до постобучения и визуальный энкодер google/siglip-so400m-patch14-384. Модель предназначена для диалога и ответов на вопросы о содержимом изображений.
В README указано, что обучение остановили до завершения первой эпохи из-за ограниченных вычислительных ресурсов; суффикс exp отмечает экспериментальный статус. Архитектура обозначена в метаданных как llava-jp MoE, число параметров — 7,2 млрд, контекст — 2048 токенов. Проект ориентирован на японские визуально-языковые данные, хотя точный список поддерживаемых языков не приведён. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0.
Сценарии применения
ответы на вопросы о содержимом изображения
описание изображений в диалоге
эксперименты с японскими визуально-языковыми моделями
Ограничения
Модель экспериментальная: обучение завершено менее чем на одной эпохе, а языковая модель взята до постобучения. Контекст ограничен 2048 токенами.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
