Характеристики

Контекст: 7 999 токенов
Параметры: 31,9 млн
Лицензия: CC BY-NC-SA 4.0
Архитектура: modernbert · dense
Базовая модель: ettin-encoder-32m
Библиотека: transformers
Опубликована: 19 авг 2026

Ссылки

grug-ettin-32m-meetingbank

Разметка токеновТекст → label6 профессий

Компактный англоязычный ModernBERT-классификатор, который сохраняет важные токены и отбрасывает остальные для сжатия промптов.

9скачиваний за 30 дней0лайковвеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

akshayballal/grug-ettin-32m-meetingbank — компактный классификатор токенов для сжатия текстовых промптов. Модель дообучена командой grug на наборе microsoft/MeetingBank-LLMCompressed и предсказывает для каждого токена, сохранить его или отбросить. В примере README она используется через библиотеку grug и ModernBackend для сжатия текста с заданным коэффициентом rate.

Модель основана на энкодере ModernBERT jhu-clsp/ettin-encoder-32m, содержит 31,9 млн параметров и поддерживает контекст до 7 999 токенов. Карточка указывает задачу token-classification; базовый энкодер описан как англоязычный, а обучающий корпус связан с MeetingBank. Лицензия cc-by-nc-sa-4.0 ограничивает использование некоммерческими условиями и требует соблюдения условий распространения и атрибуции.

Сценарии применения

сжатие промпта перед отправкой в языковую модель
сокращение длинного контекста при заданном коэффициенте сжатия
удаление малозначимых токенов из текста
сжатие материалов совещаний для последующей обработки LLM

Ограничения

Обучение проводилось на корпусе MeetingBank-LLMCompressed, поэтому качество на других типах текстов может отличаться. Лицензия CC-BY-NC-SA-4.0 накладывает некоммерческие ограничения.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

grug prompt compressor

Binary preserve/discard token classifier for prompt compression, trained with grug train on microsoft/MeetingBank-LLMCompressed.

import grug
from grug.backends.modern import ModernBackend

comp = grug.Compressor(ModernBackend(model_name='akshayballal/grug-ettin-32m-meetingbank-v2'))
result = comp.compress(text, rate=0.4)

Training

{
  "model_name": "jhu-clsp/ettin-encoder-32m",
  "epochs": 6,
  "learning_rate": 1e-05,
  "batch_size": 32,
  "max_length": 512,
  "weight_decay": 0.01,
  "warmup_ratio": 0.06,
  "device": "cuda",
  "seed": 0,
  "push_to": "akshayballal/grug-ettin-32m-meetingbank-v2",
  "select_on": "val_f1",
  "patience": 2,
  "cs_weight": 0.0
}

Final epoch

{
  "epoch": 6,
  "train_loss": 0.3438479603842051,
  "val_loss": 0.3522194652062542,
  "val_accuracy": 0.8408598789818473,
  "val_precision": 0.7949736770080338,
  "val_recall": 0.7951144890663747,
  "val_f1": 0.7950440768023185,
  "val_perplexity": 1.4222206174116105
}

The training corpus is CC-BY-NC-SA-4.0, so this model inherits a non-commercial constraint.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForTokenClassification
Ревизия весов: e268996