Qwen2.5-VL GQA-ru LoRA v3

qwen2.5-vl-gqa-ru-lora-v3 — русскоязычная visual question answering (VQA) модель на базе Qwen2.5-VL-3B-Instruct. Модель дообучена методом LoRA на 30 000 примерах train_balanced из GQA-ru. В этой версии использованы русскоязычный обучающий промпт, больший LoRA-rank и дополнительные vision-проекции.

Это полная модель: LoRA-адаптер уже объединён с базовыми весами. Отдельно загружать Qwen/Qwen2.5-VL-3B-Instruct или подключать PEFT-адаптер не нужно.

Особенности v3

• лучший MMBench-ru Accuracy среди проверенных в проекте моделей: 0,8061;
• GQA-ru Exact Match 0,5352, что на 21,54 процентного пункта выше базовой Qwen2.5-VL;
• русскоязычный шаблон промпта и 30 000 обучающих примеров;
• LoRA с рангом 32 применялась не только к текстовым attention- и MLP-проекциям, но и к модулям qkv и proj в vision-части.

Быстрый запуск

Установите зависимости:

pip install "transformers>=4.49" accelerate pillow torch

Пример инференса:

import torch
from PIL import Image
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration

MODEL_ID = "qwen2.5-vl-gqa-ru-lora-v3"  # или путь к локальной папке

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    MODEL_ID,
    torch_dtype=torch.bfloat16,
    device_map="auto",
).eval()
processor = AutoProcessor.from_pretrained(MODEL_ID)

image = Image.open("image.jpg").convert("RGB")
question = "Какого цвета автомобиль?"

messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": image},
        {
            "type": "text",
            "text": (
                "Ответь на вопрос, используя изображение.\n"
                "Дай только краткий ответ без объяснений.\n"
                f"Вопрос: {question}\nОтвет:"
            ),
        },
    ],
}]

text = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
inputs = processor(
    text=[text],
    images=[image],
    padding=True,
    return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    generated_ids = model.generate(
        **inputs,
        max_new_tokens=32,
        do_sample=False,
    )

generated_ids = generated_ids[:, inputs.input_ids.shape[1]:]
answer = processor.batch_decode(
    generated_ids,
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False,
)[0]
print(answer.strip())

Для GPU без поддержки BF16 замените torch.bfloat16 на torch.float16. На CPU можно использовать torch.float32, но генерация будет значительно медленнее.

Обучение

Базовые веса были заморожены; во время обучения обновлялись только LoRA-параметры. Использовались gradient checkpointing и seed 42.

Оценка

Модель проверена на полных оценочных сплитах: 12 216 заданиях GQA-ru testdev_balanced и 3 910 заданиях MMBench-ru dev. В итоговых предсказаниях нет пропущенных идентификаторов, дубликатов или ошибок инференса.

• Exact Match: совпадение с эталоном после приведения к нижнему регистру, удаления лишних пробелов и пунктуации.
• BERTScore F1: семантическое сходство на основе bert-base-multilingual-cased.
• MMBench-ru Accuracy: доля правильно выбранных вариантов ответа.

Назначение и ограничения

Модель предназначена для экспериментального и исследовательского русскоязычного VQA. Она лучше всего подходит для коротких фактических ответов об объектах, их атрибутах и отношениях на изображении.

• Модель может ошибаться, галлюцинировать и воспроизводить смещения базовой модели и обучающих данных.
• GQA-ru ориентирован на короткие ответы; качество длинных объяснений, OCR, документов, видео и других доменов отдельно не измерялось.
• Exact Match не засчитывает корректные синонимы, если они не совпали с эталоном после нормализации.
• Различия менее одного процентного пункта на MMBench-ru между вариантами Qwen следует трактовать осторожно.
• Не используйте модель как единственный источник для медицинских, юридических, финансовых или иных решений с высокими рисками.

Лицензия и благодарности

Модель распространяется на условиях Qwen Research License. Перед использованием также проверьте условия лицензий GQA-ru и MMBench-ru.

• Базовая модель: Qwen/Qwen2.5-VL-3B-Instruct
• Данные: deepvk/GQA-ru и deepvk/MMBench-ru
• Код, ноутбуки и полные результаты: vk-vision-language-vqa