Характеристики

Контекст: 512 токенов
Параметры: 205 млн
Лицензия: CC BY-NC-SA 4.0
Архитектура: bert · dense
Базовая модель: bert-base-multilingual-cased
Библиотека: transformers
Опубликована: 19 авг 2026

Ссылки

Hugging Face

grug-mbert-control-meetingbank

akshayballal

Разметка токеновТекст → label

Дообученный многоязычный BERT размечает токены для сжатия промптов с сохранением наиболее полезного текста.

8скачиваний за 30 дней0лайковвеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

akshayballal/grug-mbert-control-meetingbank — классификатор токенов для сжатия промптов, обученный автором репозитория с помощью grug на корпусе microsoft/MeetingBank-LLMCompressed. Модель помечает токены как сохраняемые или удаляемые, чтобы сокращать текст перед передачей языковой модели; в README приведён пример сжатия с заданным коэффициентом сохранения.

Это дообученная модель семейства BERT, реализованная как BertForTokenClassification и содержащая 205,1 млн параметров. Она принимает текст, имеет контекстное окно 512 токенов и рассчитана на многоязычный ввод благодаря базовой модели bert-base-multilingual-cased. В репозитории указаны формат safetensors и библиотека Transformers.

Модель предназначена для сжатия промптов и уменьшения объёма передаваемого текста. Лицензия CC-BY-NC-SA-4.0 ограничивает коммерческое использование; README также указывает, что обучающий корпус распространяется на тех же условиях.

Сценарии применения

сжатие длинного промпта перед отправкой в языковую модель
удаление из текста малозначимых токенов
сокращение контекста при ограничении окна языковой модели

Ограничения

Классификатор обучен на корпусе MeetingBank-LLMCompressed, поэтому его качество на других типах текстов может отличаться. Лицензия CC-BY-NC-SA-4.0 и условия корпуса ограничивают коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

grug prompt compressor

Binary preserve/discard token classifier for prompt compression, trained with grug train on microsoft/MeetingBank-LLMCompressed.

import grug
from grug.backends.modern import ModernBackend

comp = grug.Compressor(ModernBackend(model_name='akshayballal/grug-mbert-control-meetingbank-v2'))
result = comp.compress(text, rate=0.4)

Training

{
  "model_name": "bert-base-multilingual-cased",
  "epochs": 6,
  "learning_rate": 1e-05,
  "batch_size": 32,
  "max_length": 512,
  "weight_decay": 0.01,
  "warmup_ratio": 0.06,
  "device": "cuda",
  "seed": 0,
  "push_to": "akshayballal/grug-mbert-control-meetingbank-v2",
  "select_on": "val_f1",
  "patience": 2,
  "cs_weight": 0.0
}

Final epoch

{
  "epoch": 5,
  "train_loss": 0.32868274898842126,
  "val_loss": 0.3353261986993394,
  "val_accuracy": 0.8496049377751864,
  "val_precision": 0.7996827124859441,
  "val_recall": 0.777914413912268,
  "val_f1": 0.7886483794751173,
  "val_perplexity": 1.398396465940305
}

The training corpus is CC-BY-NC-SA-4.0, so this model inherits a non-commercial constraint.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: bc351f3