Характеристики

Контекст: 8 192 токена
Параметры: 395 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Базовая модель: ModernBERT-large
Библиотека: transformers
Опубликована: 5 янв 2025

Ссылки

ModernBERT-large-llm-router

Классификация текстаТекст → label

Дообученный ModernBERT-large классифицирует запросы, чтобы направлять сложные к большому LLM, а простые — к небольшой модели.

147скачиваний за 30 дней2лайкавеса обновлены5 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AdamLucek/ModernBERT-large-llm-router — дообученная Adam Lucek модель для классификации запросов с целью маршрутизации к языковым моделям. Она присваивает запросу метку 1, если для него нужен более мощный LLM, и 0, если достаточно небольшой модели. Модель основана на двунаправленном энкодере ModernBERT-large с архитектурой ModernBertForSequenceClassification, содержит 394,7 млн параметров и принимает контекст до 8192 токенов.

Модель предназначена для систем, которые распределяют пользовательские запросы между моделями разного размера. В README указаны результаты на тестовой выборке: F1 0,9933 и loss 0,0536. Обучение выполнено на синтетическом наборе DevQuasar/llm_router_dataset-synth. Лицензия — Apache-2.0. Язык запросов явно не указан; базовый ModernBERT описан как англоязычный.

Сценарии применения

маршрутизация сложных запросов к более мощной языковой модели
направление простых запросов к небольшой языковой модели
классификация запросов перед вызовом LLM в каскадной системе

Ограничения

Качество приведено для тестовой выборки синтетического набора данных и может не отражать результаты на реальных запросах. Модель выдаёт бинарную метку выбора между большой и небольшой LLM, а язык запросов в карточке явно не указан.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ModernBERT-large-llm-router

This model is a fine-tuned version of answerdotai/ModernBERT-large on DevQuasar/llm_router_dataset-synth.

It achieves the following results on the test set:

Loss: 0.0536
F1: 0.9933

Model description

See original answerdotai/ModernBERT-large model card for additional information. This model is intended to classify queries for LLM routing. More advanced queries get labeled 1 for large_llm and simpler queries get 0 for small_llm.

Training procedure

Annotated training procedure available in this notebook. Methodology and code credits to Phillip Schmid from his Fine-tune classifier with ModernBERT in 2025 blog post.

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 32
eval_batch_size: 16
seed: 42
optimizer: Use adamw_torch_fused with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	F1
0.0303	1.0	479	0.0317	0.9881
0.014	2.0	958	0.0374	0.9927
0.0044	3.0	1437	0.0502	0.9921
0.0004	4.0	1916	0.0554	0.9927
0.0003	5.0	2395	0.0536	0.9933

Framework versions

Transformers 4.48.0.dev0
Pytorch 2.5.1+cu124
Datasets 3.1.0
Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForSequenceClassification
Ревизия весов: 0e1b6a7