/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
395 млн
Лицензия
Apache 2.0
Архитектура
modernbert · dense
Базовая модель
ModernBERT-large-nli
Опубликована
8 окт 2026

kenning-large-v0.6

Классификация текстаТекст → label

Дообученный ModernBERT для классификации состояний программы и выбора типизированных ответов с калиброванными вероятностями.

33скачиваний за 30 дней0лайковвеса обновлены9 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kenning Large v0.6 — модель принятия решений, разработанная System One с помощью SystemOne Builder. Она получает состояние программы и типизированные вопросы с ответами «да/нет», выбором из вариантов или числовой оценкой, затем за один проход оценивает варианты и возвращает ответы с калиброванными вероятностями. Модель не генерирует текст.

Это дообученный кросс-энкодер ModernBERT-large-nli с 394,7 млн параметров. Для каждой пары «состояние — вариант ответа» вычисляются оценки, после чего применяется softmax с отдельной температурой для каждого типа вопроса. Максимальная длина такой пары — 2048 токенов. Модель подходит для классификации, маршрутизации запросов и автоматизированных решений по заданным состояниям и вариантам ответа.

На отложенной части обучающих данных авторы сообщают точность 0,905, а после калибровки — ECE 0,006; эти показатели относятся к данным, близким к обучающим. На внешних данных качество может снижаться, поэтому перед автоматическими решениями требуется проверка и повторная калибровка. Точность также ухудшается на арифметике, датах, длинных и противоречивых состояниях; результаты могут различаться между GPU и версиями библиотек. Лицензия — Apache-2.0.

Сценарии применения

  • классификация текстового состояния по заданным категориям
  • выбор одного варианта ответа из списка
  • оценка вероятности ответа на вопрос «да/нет»
  • маршрутизация запросов по типизированным правилам
  • автоматизированная сортировка обращений и сообщений

Ограничения

Калибровка рассчитана на обучающее распределение, поэтому на новых данных вероятности требуют проверки и повторной настройки. Качество снижается на арифметике, датах, длинных и противоречивых состояниях; результаты могут зависеть от оборудования и версий библиотек.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

kenning-large-v0.6

Kenning is a System One decision model: given program state and typed questions (noul yes/no, choice, score) it returns typed answers with calibrated probabilities in one forward pass. It does not generate text. It was built with SystemOne Builder.

Model

  • Base model: tasksource/ModernBERT-large-nli (see its model card)
  • Architecture: cross-encoder; every candidate answer is scored against the state, and each question's distribution is softmax(scores / T) with per-type temperatures fitted on held-out data
  • Temperatures: {"choice": 1.8221, "score": 1.7333, "noul": 1.8221}
  • Max tokens per (state, answer) pair: 2048
  • Created: 2026-10-08T23:04:00Z

Training data

SourceRowsLicence
nyu-mll/multi_nli8000OANC (permissive); fiction genre excluded
clinc/clinc_oos3000CC-BY-3.0
fancyzhx/amazon_polarity2000Apache-2.0
google/civil_comments2000CC0-1.0
nvidia/HelpSteer23000CC-BY-4.0
jackhhao/jailbreak-classification1000Apache-2.0
deepset/prompt-injections500Apache-2.0
allenai/ropes3000CC-BY-4.0
structured expense (records): rule-generated, exact labels800generated (kenning/structured.py)
structured shipping (records): rule-generated, exact labels800generated (kenning/structured.py)
structured leave (records): rule-generated, exact labels800generated (kenning/structured.py)
structured inventory (records): rule-generated, exact labels800generated (kenning/structured.py)
structured incident (records): rule-generated, exact labels800generated (kenning/structured.py)
structured eligibility (records): rule-generated, exact labels800generated (kenning/structured.py)
structured loan (records): rule-generated, exact labels800generated (kenning/structured.py)
structured subscription (records): rule-generated, exact labels800generated (kenning/structured.py)
structured table (table): rule-generated, exact labels800generated (kenning/structured.py)
structured tool_call (agent): rule-generated, exact labels800generated (kenning/structured.py)
structured agent_trace (agent): rule-generated, exact labels800generated (kenning/structured.py)
structured access_log (logs): rule-generated, exact labels800generated (kenning/structured.py)
structured deploy_log (logs): rule-generated, exact labels800generated (kenning/structured.py)
synthetic: written by Qwen/Qwen2.5-7B-Instruct from labelled scenarios1985generated (teacher: Qwen2.5-7B-Instruct, Apache-2.0)
synthetic: 10 label-conditioned tasks written by Qwen/Qwen2.5-7B-Instruct2793generated (teacher: Qwen2.5-7B-Instruct, Apache-2.0)

Held-out results (split of the training pool)

accuracyBrierECE
zero-shot (before training)0.5780.6070.220
trained0.9050.1410.040
trained + calibrated0.9050.1330.006

These are in-distribution numbers. Benchmark on your own data (and recalibrate on a few hundred labelled examples from it) before letting the model act automatically.

Benchmarks

Recorded with systemone bench on suites never used for training. Automated is the share of items decided without a person (p >= 0.9 or <= 0.1); a threat auto-closed is a positive item the model was sure was negative.

SuiteItemsAccuracyBrierECEAutomatedThreats auto-closedLatency p50
general13280.660 / 0.900 / 0.604 / 0.820 / 0.700 / 0.900 / 0.940 / 0.750 / 0.979 / 1.000 / 0.940 / 0.583 / 0.938 / 0.680 / 1.000 / 0.660 / 0.900 / 0.920 / 0.560 / 0.540 / 0.833 / 0.812 / 0.560 / 0.880 / 0.600 / 0.760 / 0.8200.2140.179--589 ms

Where a suite asks several questions, accuracy lists each (out of domain: spam / emotion / news topic; layouts: one per layout). Comparisons with Cloudflare Clef and TypeSafe Jev on the same suites are in the Kenning docs.

Use

pip install "systemone-client[local]"
from systemone import Kenning, Noul, Choice

model = Kenning.from_pretrained("systemonedev/kenning-large-v0.6")  # in-process, runs on CPU or GPU
answer = model.system_one(state={"ticket": "I was charged twice."},
                          questions={"billing": Noul("Is this about billing?")})
print(answer.nouls["billing"].noul)

Or serve it with SystemOne Builder's kenning service and call POST /v1/systemone with systemone.Client.

Limitations

  • Calibration was fitted on the training distribution; probabilities on other data are scores until recalibrated.
  • Arithmetic, dates and long or contradictory states degrade accuracy.
  • Determinism: identical requests give identical answers on the same hardware and software; results can differ across GPUs or library versions.

Licence

The weights are released under the Apache License 2.0 (LICENSE). Upstream licences of the base model and of every training source are listed in NOTICE.md; some are share-alike (CC-BY-SA-3.0), so keep NOTICE.md with the weights.

Kenning implements a wire format compatible with TypeSafe AI's System One API. It is not affiliated with or endorsed by TypeSafe AI, and was not trained on TypeSafe outputs.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
ModernBertForSequenceClassification
Ревизия весов
97bc0c1

0 моделей