Math-LLaVA — открытая мультимодальная языковая модель, созданная дообучением LLaVA-1.5-13B на отобранных данных MathV360K, часть которых была синтезирована с помощью GPT-4 Vision. Модель разработана для исследований мультимодального рассуждения и ответов на вопросы по изображениям, особенно в математических задачах.

Модель имеет плотную архитектуру LlavaLlamaForCausalLM и около 12,9 млрд параметров. Она принимает изображения и текст, а отвечает текстом; контекст составляет 4096 токенов. Обучение проводилось на инструкционных данных MathV360K, а оценка — на трёх бенчмарках мультимодального математического и междисциплинарного рассуждения.

Модель предназначена прежде всего для исследователей и энтузиастов компьютерного зрения, NLP и машинного обучения. Карточка указывает исследовательское назначение, но сама по себе эта оговорка не определяет зрелость модели: Math-LLaVA представляет собой готовый чекпойнт для практического применения и экспериментов. Условия лицензии в предоставленных данных не описаны.