modernbert-large-unical

Architettura UNICAL: encoder addestrato con statement tuning multi-domanda (template di statement-tuning, adattati alla forma stato/statement): dato un testo (lo stato) e uno o piu' statement, restituisce la probabilita' che ogni statement sia vero. Pensato come proxy veloce per sem_filter.

Gli statement condividono lo stato nella stessa sequenza, ma una maschera di attenzione bidirezionale a blocchi li rende indipendenti: il punteggio di uno statement e' identico a quello che si otterrebbe valutandolo da solo.

Uso

Basta transformers: il codice del modello e' incluso nel repository (trust_remote_code=True).

from transformers import AutoModel

model = AutoModel.from_pretrained("stefra/modernbert-large-unical", trust_remote_code=True)

model.predict("The vase is broken.", "The sentence is negative.")           # un numero, es. 0.93
model.predict("The vase is broken.", ["The vase is intact.", "It is sad."])  # un array, uno per statement
model.predict(recensioni, "This review is negative.")                         # un array, uno per testo
model.filter(recensioni, "This review is negative.")                          # True/False per ogni testo
model.classify(recensioni, ["The sentiment of the review is negative.",
                            "The sentiment of the review is positive."])      # indice dello statement piu' probabile

Non e' un modello generativo: predict restituisce la probabilita' che ogni statement sia vero. Su GPU il modello viene caricato in float16; si puo' scegliere con device= e dtype=.

Con il pacchetto unical (codice di training) funziona anche StatementScorer.from_pretrained("stefra/modernbert-large-unical").

Contenuto

Metriche

Validazione (sorgenti di training)

Held-out (task mai visti in training)