blip-large-glance-image

Architettura GLANCE Image: BLIP-ITM addestrato con statement tuning multi-domanda. Data un'immagine (lo stato, anche una coppia di immagini) e uno o piu' statement, restituisce la probabilita' che ogni statement sia vero.

L'immagine passa nel ViT una volta sola; gli statement stanno nella stessa sequenza di testo ma una maschera di attenzione a blocchi li rende indipendenti: il punteggio di uno statement e' identico a quello che si otterrebbe valutandolo da solo.

Uso

Basta transformers: il codice del modello e' incluso nel repository (trust_remote_code=True).

from transformers import AutoModel

model = AutoModel.from_pretrained("stefra/blip-large-glance-image", trust_remote_code=True)

model.predict("gatto.jpg", ["There is a cat.", "The cat is black."])          # un array, uno per statement
model.predict(["sinistra.jpg", "destra.jpg"], ["The left image has more dogs."])  # stato con due immagini
model.predict([("a.jpg", ["It is a dog."]), ("b.jpg", ["It is food.", "It is a cat."])])  # batch

Un'immagine puo' essere un PIL.Image, un percorso, un URL, un array numpy o dei bytes. Classificazione zero-shot: uno statement per classe ("A photo of a beagle, a type of pet.") e vince il piu' probabile. Su GPU il modello viene caricato in float16; si puo' scegliere con device= e dtype=.

Metriche

Validazione (sorgenti di training)

Held-out (classificazione zero-shot)