glance-text

Architettura GLANCE: encoder addestrato con statement tuning multi-domanda (template di statement-tuning, adattati alla forma stato/statement): dato un testo (lo stato) e uno o piu' statement, restituisce la probabilita' che ogni statement sia vero.

Gli statement condividono lo stato nella stessa sequenza, ma una maschera di attenzione bidirezionale a blocchi li rende indipendenti: il punteggio di uno statement e' identico a quello che si otterrebbe valutandolo da solo.

Uso

Basta transformers: il codice del modello e' incluso nel repository (trust_remote_code=True).

from transformers import AutoModel

model = AutoModel.from_pretrained("stefra/glance-text", trust_remote_code=True)

model.predict("The vase is broken.", ["The vase is intact.", "It is sad."])  # un array, uno per domanda
model.predict([("The vase is broken.", ["It is sad."]),                       # batch di (stato, domande):
               ("I love it.", ["It is positive.", "It is sad."])])            # una lista di array, uno per stato

Non e' un modello generativo: predict restituisce la probabilita' che ogni statement sia vero. Su GPU il modello viene caricato in float16; si puo' scegliere con device= e dtype=.

Contenuto

Metriche

Held-out (task mai visti in training)