Raven

Raven은 실제 사진과 AI 생성 이미지를 구분하기 위해 만든 이미지 포렌식 모델입니다.

최종 출력은 REAL, AI, UNCERTAIN 로 총 3가지이고, AI 데이터는 GPT Image 2 계열을 기준으로 합니다.

판정 기준은 다음과 같습니다.

REAL       p(AI) <= 0.28
UNCERTAIN  0.28 < p(AI) < 0.72
AI         p(AI) >= 0.72

예시코드

import warnings
warnings.filterwarnings("ignore")

import sys
from pathlib import Path

HERE = Path(__file__).resolve().parent
sys.path.insert(0, str(HERE))

from raven.inference import infer_image

model = HERE / "model.safetensors"

image_extensions = {
    ".png",
    ".jpg",
    ".jpeg",
    ".webp",
    ".bmp",
}

images = sorted(
    [
        file for file in HERE.iterdir()
        if file.is_file()
        and file.suffix.lower() in image_extensions
    ],
    key=lambda p: p.name.lower()
)

for image in images:
    print(f"File: {image.name}")

    result = infer_image(
        str(model),
        str(image),
    )

    print(f"Verdict: {result['verdict']}")
    print(f"AI: {result['ai_probability'] * 100:.2f}%")
    print(f"REAL: {result['real_probability'] * 100:.2f}%")
    print()

Benchmark

Validation 데이터는 총 4,470장입니다.

• REAL: 3,003
• AI: 1,467

Decisions

AI 1,467장:

AI             1,423
REAL              14
UNCERTAIN         30

REAL 3,003장:

REAL           2,928
AI                18
UNCERTAIN         57

REAL-only Test

별도로 분리된 REAL 이미지 2,986장에서도 평가를 하였습니다.

실제 판정 결과:

REAL           2,878
AI                31
UNCERTAIN         77

Lighting

Validation 데이터의 밝기별 결과입니다.

extreme-dark는 표본 수가 적기 때문에 다른 구간보다 수치의 불확실성이 클 수 있습니다.

Limitations

현재 AI 학습 데이터는 GPT Image 2를 중심으로 구성되어 있습니다.

따라서 위 benchmark는 GPT Image 2 계열과 현재 REAL 데이터 분포에서의 성능을 나타냅니다.

다음과 같은 경우 동일한 성능을 보장하지 않습니다.

• 학습에 포함되지 않은 AI 생성 모델
• 강한 JPEG 재압축
• 스크린샷
• 업스케일 및 노이즈 제거
• 과도한 색보정 또는 후처리
• 이미지 일부만 합성된 경우
• 매우 어두운 이미지

특히 Midjourney, FLUX, Stable Diffusion 등 다른 생성기에서의 성능은 별도로 검증되어야 합니다.

Raven의 출력은 이미지 출처에 대한 확률 기반 포렌식 판단이며, 이미지가 AI로 생성되었음을 증명하는 절대적인 증거로 사용해서는 안 됩니다.