/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
6,6 млрд
Размер весов
32,8 ГБ
Лицензия
MIT
Архитектура
mplug_owl2 · dense
Базовая модель
mplug-owl2-llama2-7b
Библиотека
transformers
Опубликована
15 янв 2025

DeQA-Score-Mix3

Генерация текстаТекст → текст3 профессии

Дообученная мультимодальная модель DepictQA для текстовой оценки качества изображений.

1 976скачиваний за 30 дней7лайковвеса обновлены11 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DeQA-Score-Mix3 — модель оценки качества изображений из проекта DepictQA. Её веса полностью дообучены на наборах KonIQ, SPAQ и KADID; в основе лежит мультимодальная архитектура mPLUG-Owl2 с Llama 2, содержащая 6,6 млрд параметров. Модель принимает изображение и формирует текстовый ответ, связанный с оценкой качества изображения.

Модель предназначена для оценки визуального качества изображений в сценариях, связанных с наборами KonIQ, SPAQ и KADID. Репозиторий подготовлен для использования через Transformers и AutoModelForCausalLM; в README отмечена совместимость с версиями Transformers 4.46.3 и 4.57.6. Карточка указывает английский язык, контекст 2048 токенов и лицензию MIT.

Сценарии применения

  • оценка воспринимаемого качества изображений
  • анализ качества фотографий
  • получение текстовой оценки изображения
  • эксперименты с оценкой качества на наборах KonIQ, SPAQ и KADID

Ограничения

Дообучение описано для KonIQ, SPAQ и KADID, поэтому качество за пределами этих наборов и сценариев не установлено. README указывает на необходимость совместимых версий Transformers и небольших изменений кода.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DeQA-Score-Mix3

DeQA-Score ( project page / codes / paper ) model weights fully fine-tuned on KonIQ, SPAQ, and KADID datasets.

This work is under our DepictQA project.

Quick Start with AutoModel

[2025.12] Thanks to @lyf1212's and @0x3f3f3f3fun's suggestions, we add support on transformers==4.46.3 and transformers==4.57.6 with minor code modifications. See details.

Note: If you are using transformers==4.36.1, no code modifications are needed.

For the above image, we could start an AutoModel scorer with transformers==4.36.1 using the following code.

import requests
import torch
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
  "zhiyuanyou/DeQA-Score-Mix3",
  trust_remote_code=True,
  attn_implementation="eager", 
  torch_dtype=torch.float16,
  device_map="auto", 
)

from PIL import Image

# The inputs should be a list of multiple PIL images
score = model.score(
  [Image.open(requests.get(
    "https://raw.githubusercontent.com/zhiyuanyou/DeQA-Score/main/fig/singapore_flyer.jpg", stream=True
    ).raw)]
)

The "score" result should be 1.9404 (in range [1,5], higher is better).

Non-reference IQA Results (PLCC / SRCC)

DatasetKonIQSPAQKADIDPIPALLIVE-WildAGIQATID2013CSIQ
Q-Align (Baseline)0.945 / 0.9380.933 / 0.9310.935 / 0.9340.409 / 0.4200.887 / 0.8830.788 / 0.7330.829 / 0.8080.876 / 0.845
DeQA-Score (Ours)0.956 / 0.9430.938 / 0.9340.955 / 0.9530.495 / 0.4960.900 / 0.8870.808 / 0.7450.852 / 0.8200.900 / 0.857

If you find our work useful for your research and applications, please cite using the BibTeX:

@inproceedings{deqa_score,
    title={Teaching Large Language Models to Regress Accurate Image Quality Scores using Score Distribution},
    author={You, Zhiyuan and Cai, Xin and Gu, Jinjin and Xue, Tianfan and Dong, Chao},
    booktitle={IEEE/CVF Conference on Computer Vision and Pattern Recognition},
    pages={14483--14494},
    year={2025}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
MPLUGOwl2LlamaForCausalLM
Ревизия весов
246e219

0 моделей