Характеристики

Контекст: 8 192 токена
Параметры: 140 млн
Лицензия: CC BY-NC-SA 4.0
Архитектура: modernbert · dense
Базовая модель: mmBERT-small
Библиотека: transformers
Опубликована: 19 авг 2026

Ссылки

Hugging Face

grug-mmbert-small-meetingbank

akshayballal

Разметка токеновТекст → label

Компактный классификатор ModernBERT, который выбирает, какие токены промпта сохранить для его сжатия.

9скачиваний за 30 дней0лайковвеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

akshayballal/grug-mmbert-small-meetingbank — компактный классификатор токенов для сжатия текстовых промптов. Автор обучил его на базе jhu-clsp/mmBERT-small с помощью grug на корпусе microsoft/MeetingBank-LLMCompressed; для каждого токена модель предсказывает, сохранить его или отбросить. Её используют, чтобы сократить текст перед передачей языковой модели, задавая желаемую степень сжатия.

Модель построена на архитектуре ModernBERT, содержит 140,5 млн параметров и поддерживает контекст до 8192 токенов. Базовый mmBERT-small описан как мультиязычный энкодер для более чем 1800 языков, однако карточка не уточняет языковой состав именно этого чекпойнта. Веса опубликованы в формате safetensors. Лицензия CC-BY-NC-SA-4.0 и условия корпуса ограничивают использование некоммерческими целями; качество сжатия за пределами обучающего домена MeetingBank отдельно не охарактеризовано.

Сценарии применения

сжатие длинного промпта перед передачей LLM
удаление малозначимых токенов из контекста
сокращение текста с заданной степенью сжатия

Ограничения

Обучение проводилось на корпусе MeetingBank-LLMCompressed, поэтому качество на текстах других типов не установлено. Лицензия CC-BY-NC-SA-4.0 ограничивает использование некоммерческими целями.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

grug prompt compressor

Binary preserve/discard token classifier for prompt compression, trained with grug train on microsoft/MeetingBank-LLMCompressed.

import grug
from grug.backends.modern import ModernBackend

comp = grug.Compressor(ModernBackend(model_name='akshayballal/grug-mmbert-small-meetingbank-v2'))
result = comp.compress(text, rate=0.4)

Training

{
  "model_name": "jhu-clsp/mmBERT-small",
  "epochs": 6,
  "learning_rate": 1e-05,
  "batch_size": 32,
  "max_length": 512,
  "weight_decay": 0.01,
  "warmup_ratio": 0.06,
  "device": "cuda",
  "seed": 0,
  "push_to": "akshayballal/grug-mmbert-small-meetingbank-v2",
  "select_on": "val_f1",
  "patience": 2,
  "cs_weight": 0.0
}

Final epoch

{
  "epoch": 5,
  "train_loss": 0.29491149117850296,
  "val_loss": 0.31571182777296825,
  "val_accuracy": 0.8597812409746316,
  "val_precision": 0.794323684303538,
  "val_recall": 0.8120467561561671,
  "val_f1": 0.8030874509768888,
  "val_perplexity": 1.3712350468274497
}

The training corpus is CC-BY-NC-SA-4.0, so this model inherits a non-commercial constraint.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForTokenClassification
Ревизия весов: d3afa62