Мультиязычная модель размечает токены семантическими типами для первого этапа разбора предложений в семантические гиперграфы.
121скачиваний за 30 дней0лайковвеса обновлены6 мая 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Atom Classifier — мультиязычная модель токенной классификации от hyperquest для первого этапа Alpha-Beta-парсера семантических гиперграфов. Она присваивает каждому токену предложения одну из 39 меток семантических атомов и подтипов: понятий, предикатов, модификаторов, связок, триггеров, союзов или исключаемых токенов. Полученные метки затем используются для построения вложенных гиперграфовых структур на следующем этапе парсера.
Модель построена на DistilBertForTokenClassification и дообучена на distilbert/distilbert-base-multilingual-cased. Максимальная длина последовательности — 512 токенов. В карточке заявлена поддержка английского, немецкого, французского, испанского, португальского и нидерландского языков. Модель распространяется по лицензии Apache-2.0.
Она предназначена для семантического разбора предложений в составе инструментария hyperbase и Alpha-Beta-парсера, а не для самостоятельной генерации текста или полного построения гиперграфа. Качество разметки зависит от соответствия входного языка и текста обучающим данным; подробности о составе обучающего набора и оценках качества в предоставленной карточке не приведены.
Сценарии применения
разметка понятий и предикатов в предложениях
определение семантических модификаторов и связок
подготовка токенов для Alpha-Beta-парсера гиперграфов
Ограничения
Модель выполняет только первичную классификацию токенов и требует следующего этапа парсера для построения структур гиперграфа. В карточке не приведены сведения о датасете и количественных оценках качества.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
A multilingual token classifier for semantic hypergraph parsing. It classifies each token in a sentence into one of 39 semantic atom types/subtypes, serving as the first stage (alpha) of the Alpha-Beta semantic hypergraph parser.
from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch
tokenizer = AutoTokenizer.from_pretrained("hyperquest/atom-classifier")
model = AutoModelForTokenClassification.from_pretrained("hyperquest/atom-classifier")
sentence = "Berlin is the capital of Germany."
encoded = tokenizer(sentence, return_tensors="pt", return_offsets_mapping=True)
offset_mapping = encoded.pop("offset_mapping")
with torch.no_grad():
outputs = model(**encoded)
predictions = outputs.logits.argmax(-1)[0].tolist()
word_ids = encoded.word_ids(0)
for idx, word_id in enumerate(word_ids):
if word_id is not None:
start, end = offset_mapping[0][idx].tolist()
label = model.config.id2label[predictions[idx]]
print(f"{sentence[start:end]:15s} -> {label}")
Intended Use
This model is designed to be used as the first stage of the Alpha-Beta semantic hypergraph parser (hyperbase-parser-ab). It assigns atom types to tokens, which are then combined into nested hypergraph structures by rule-based grammar in the beta stage.