Xipotzzz выпустил blip2zh-chatglm-6b — китайскую мультимодальную чат-модель на основе BLIP-2 с базовой способностью понимать изображения. В состав входят визуальный энкодер EVA-CLIP-ViT-G, компоненты BLIP-2 и языковая модель ChatGLM-6B; обучение выполнено на базе кода LAVIS. Модель прошла двухэтапное предварительное обучение для выравнивания изображений и текста, но не обучалась на VQA или инструкциях. В текстовом диалоге её поведение может сохранять свойства исходной ChatGLM-6B.

Модель предназначена для диалога о содержимом изображений и обычного текстового общения, в том числе в локально развёрнутых приложениях. Обучение использовало китайские пары изображение–текст из LAION-2B-Chinese, COCO-ZH и Flickr8k-ZH; метаданные карточки отмечают китайский и английский языки. Репозиторий предоставляет веса PyTorch.

Понимание изображений ограничено: ответы могут быть нерелевантными или ошибочными, а отсутствие дообучения на инструкциях и многоходовых диалогах может ухудшать выполнение запросов и последовательность беседы. Также сохраняются ограничения ChatGLM-6B. Лицензия в предоставленных данных не указана.