Характеристики

Контекст: 512 токенов
Базовая модель: roberta-base
Библиотека: pytorch
Опубликована: 26 сен 2026

Ссылки

sysoneso

Классификация без дообученияТекст → label

Sysoneso — дообученный энкодер на базе RoBERTa, который оценивает вероятность истинности утверждений о тексте для классификации и семантической фильтрации.

0скачиваний за 30 дней0лайковвеса обновлены26 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sysoneso — дообученный на базе FacebookAI/roberta-base энкодер для оценки истинности утверждений относительно заданного текста. Он принимает текст-состояние и одно или несколько утверждений и возвращает вероятность истинности каждого из них. Модель создана как быстрый прокси для sem_filter и поддерживает совместную обработку нескольких утверждений: блочная двунаправленная маска внимания обеспечивает независимость их оценок, эквивалентную оценке каждого утверждения отдельно.

Модель подходит для фильтрации записей по смысловым условиям, например для отбора отзывов по тональности, и для классификации без отдельной обученной головы под каждую категорию. Для работы требуется пакет st_encoder, содержащий код обучения и инференса модели. В README приведены результаты проверки на нескольких обучающих источниках и отложенных задачах; качество зависит от задачи, а на наборах ag_news и emotion совокупная точность составила 0,747. Данные о лицензии в предоставленных источниках отсутствуют.

Сценарии применения

отбор отзывов по заданному признаку тональности
проверка утверждений о содержании текста
классификация текстов по пользовательским смысловым условиям

Ограничения

Точность заметно различается между задачами: в README указаны результаты от 0,561 до 0,943 на обучающих источниках и 0,747 на совокупности двух отложенных наборов. Для инференса необходим пакет st_encoder.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

sysoneso

Encoder addestrato con statement tuning multi-domanda: dato un testo (lo stato) e uno o piu' statement, restituisce la probabilita' che ogni statement sia vero. Pensato come proxy veloce per sem_filter.

Gli statement condividono lo stato nella stessa sequenza, ma una maschera di attenzione bidirezionale a blocchi li rende indipendenti: il punteggio di uno statement e' identico a quello che si otterrebbe valutandolo da solo.

Uso

Serve il pacchetto st_encoder (il codice di training e inferenza con cui e' stato prodotto il modello).

from st_encoder import StatementScorer, sem_filter

scorer = StatementScorer.from_pretrained("stefra/sysoneso")
scorer.score("The vase is broken.", ["The sentence is negative.", "The vase is intact."])

neg = sem_filter(df, "{review} is negative", scorer)

Contenuto

File	Contenuto
`backbone/`	encoder fine-tuned (formato transformers)
`head.safetensors`	testa vero/falso
`statement_encoder.json`	pooling e configurazione del packing usata in training
`tokenizer*`	tokenizer
`eval_report.json`	metriche per sorgente

Metriche

Validazione (sorgenti di training)

sorgente	n	accuracy	F1	ROC-AUC	Brier	ECE
dpr	264	0.561	0.621	0.595	0.245	0.034
massive	900	0.943	0.943	0.989	0.045	0.032
mnli	695	0.862	0.854	0.932	0.108	0.062
piqa	395	0.511	0.592	0.529	0.251	0.043
qasc	744	0.883	0.854	0.938	0.089	0.032
qqp	518	0.855	0.802	0.947	0.099	0.064
race	879	0.679	0.685	0.747	0.209	0.071
samsum	900	0.993	0.993	1.000	0.006	0.005
sciq	522	0.822	0.766	0.901	0.125	0.066
snli	708	0.898	0.891	0.968	0.073	0.049
squad	849	0.852	0.859	0.932	0.108	0.062
tweet_offensive	900	0.789	0.788	0.883	0.162	0.122
winogrande	600	0.535	0.603	0.540	0.249	0.017
yelp_polarity	900	0.973	0.973	0.997	0.024	0.023
ALL	9774	0.827	0.823	0.926	0.114	0.041

Held-out (task mai visti in training)

sorgente	n	accuracy	F1	ROC-AUC	Brier	ECE
ag_news	3000	0.753	0.740	0.839	0.211	0.184
emotion	3000	0.741	0.728	0.817	0.196	0.127
ALL	6000	0.747	0.734	0.820	0.204	0.156

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch · zero-shot-classification

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 249cbe9