Характеристики

Контекст: 8 192 токена
Параметры: 395 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Базовая модель: ModernBERT-base
Библиотека: transformers
Опубликована: 6 июл 2026

Ссылки

modernbert-capability-classifier

Классификация текстаТекст → label3 профессии

Производная модели massaindustries/modernbert-capability-classifier. Многометочная модель на базе ModernBERT оценивает возможности текстовых запросов для маршрутизации к подходящим обработчикам.

145скачиваний за 30 дней1лайквеса обновлены6 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели regolo/modernbert-capability-classifier на Hugging Face совпадает с карточкой massaindustries/modernbert-capability-classifier, поэтому описание составлено по ней.

massaindustries/modernbert-capability-classifier — дообученная модель классификации текста на базе ModernBERT-base от Answer.AI. Она оценивает текст по шести измерениям возможностей: следование инструкциям, программирование, математические рассуждения, знания о мире, планирование и агентные задачи, творческий синтез. Модель предназначена для маршрутизации запросов в семантическом роутере Brick и может служить заменой классификатору предметных областей.

Архитектура — ModernBERT с линейным классификационным слоем на шесть выходов; модель выдаёт оценки от 0 до 1 для каждого измерения и поддерживает многометочную классификацию. Она обучена на massaindustries/dataset-B-modernbert-train с мягкими метками. Число параметров — 394,7 млн, максимальный контекст — 8192 токена. Для применения нужна токенизация текста; выходы представляют собой оценки классов, а не готовые ответы на запросы. Лицензия — Apache-2.0.

Сценарии применения

маршрутизация запросов по типу требуемых возможностей
оценка наличия задач программирования в запросе
определение запросов на математические рассуждения
выявление запросов на планирование и агентные действия
оценка запросов на творческий синтез и следование инструкциям

Ограничения

Модель возвращает оценки по заданным категориям, а не генерирует ответы; её назначение ограничено классификацией и маршрутизацией запросов. Оценка в README описана для выборки из 200 примеров с разметкой Claude, но численные результаты не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ModernBERT capability classifier (6 dimensions)

Fine-tuned on massaindustries/dataset-B-modernbert-train. Outputs sigmoid scores in [0,1] over 6 capability dimensions:

instruction_following
coding
math_reasoning
world_knowledge
planning_agentic
creative_synthesis

Designed for downstream routing in the Brick semantic router as a drop-in replacement for the domain classifier.

Training

Architecture: ModernBERT + Linear(hidden→6) + sigmoid
Loss: BCEWithLogitsLoss on soft float labels (judge mean)
Precision: bf16 + FlashAttention-2
HF problem_type: multi_label_classification

Inference example

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch
m = AutoModelForSequenceClassification.from_pretrained('massaindustries/modernbert-capability-classifier')
t = AutoTokenizer.from_pretrained('massaindustries/modernbert-capability-classifier')
inp = t('write a python sort function', return_tensors='pt')
scores = torch.sigmoid(m(**inp).logits)[0]
for i, d in enumerate(m.config.id2label.values()):
    print(f'{d}: {scores[i].item():.3f}')

Evaluation (human_eval split, 200 Claude-annotated)

{
  "eval_loss": 0.42123839259147644,
  "eval_model_preparation_time": 0.0022,
  "eval_mae_instruction_following": 0.24792593717575073,
  "eval_rmse_instruction_following": 0.30881765484809875,
  "eval_brier_instruction_following": 0.09536834806203842,
  "eval_pearson_instruction_following": 0.8270609378814697,
  "eval_spearman_instruction_following": 0.8144904545331433,
  "eval_mae_coding": 0.07370934635400772,
  "eval_rmse_coding": 0.18934082984924316,
  "eval_brier_coding": 0.03584995120763779,
  "eval_pearson_coding": 0.9140766263008118,
  "eval_spearman_coding": 0.8615511297152596,
  "eval_mae_math_reasoning": 0.10867060720920563,
  "eval_rmse_math_reasoning": 0.1694405972957611,
  "eval_brier_math_reasoning": 0.02871011756360531,
  "eval_pearson_math_reasoning": 0.9191069602966309,
  "eval_spearman_math_reasoning": 0.8252107128077218,
  "eval_mae_world_knowledge": 0.13477517664432526,
  "eval_rmse_world_knowledge": 0.1875971555709839,
  "eval_brier_world_knowledge": 0.03519269451498985,
  "eval_pearson_world_knowledge": 0.8357715606689453,
  "eval_spearman_world_knowledge": 0.8138721105892404,
  "eval_mae_planning_agentic": 0.19774200022220612,
  "eval_rmse_planning_agentic": 0.2537391781806946,
  "eval_brier_planning_agentic": 0.06438356637954712,
  "eval_pearson_planning_agentic": 0.8233083486557007,
  "eval_spearman_planning_agentic": 0.7674644757779185,
  "eval_mae_creative_synthesis": 0.08937528729438782,
  "eval_rmse_creative_synthesis": 0.16472801566123962,
  "eval_brier_creative_synthesis": 0.027135320007801056,
  "eval_pearson_creative_synthesis": 0.9154033660888672,
  "eval_spearman_creative_synthesis": 0.8138763391203128,
  "eval_pearson_macro": 0.8724546333154043,
  "eval_mae_macro": 0.14203305914998055,
  "eval_spearman_macro": 0.8160775370905994,
  "eval_f1_macro_t3": 0.8775192561604114,
  "eval_f1_macro_t5": 0.8368971405647821,
  "eval_f1_macro_t7": 0.8287502804667367,
  "eval_runtime": 1.384,
  "eval_samples_per_second": 144.51,
  "eval_steps_p

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForSequenceClassification
Ревизия весов: 117a424