Характеристики

Контекст: 8 192 токена
Архитектура: extractor · dense
Библиотека: gliner2
Опубликована: 5 авг 2026

Ссылки

Hugging Face

scaling-mmbert-100k-rams

whr778

Разметка токеновТекст → label3 профессии

Исследовательский чекпойнт mmBERT, дообученный на RAMS для извлечения триггеров и аргументов событий из текста.

7скачиваний за 30 дней0лайковвеса обновлены5 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это исследовательский чекпойнт whr778 для извлечения аргументов событий из текста по схеме RAMS. Модель основана на mmBERT-base: её головы сначала обучались на примерно 100 000 записей о структуре событий и аргументах, после чего модель дообучили на RAMS по рецепту из 15 эпох с выбором чекпойнта по строгой метрике извлечения аргументов. Доступный формат весов — safetensors.

Чекпойнт предназначен для измерения влияния предварительного обучения голов модели на качество последующего извлечения аргументов событий, а не для общего использования. На слепом тесте RAMS из 871 документа строгий micro-F1 составил 0,158 для аргументов и 0,732 для триггеров событий. README характеризует модель как одну точку исследовательской кривой масштабирования и указывает, что артефакт закрытый; условия лицензии не приведены.

Сценарии применения

Извлечение аргументов событий по схеме RAMS
Выделение триггеров событий в документах
Сравнение качества извлечения аргументов после масштабирования обучающих данных
Воспроизведение эксперимента с предварительным обучением голов mmBERT

Ограничения

Это закрытый исследовательский чекпойнт для одного эксперимента, а не общий релиз; на слепом тесте RAMS строгий micro-F1 для аргументов равен 0,158. Лицензия и условия доступа не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

scaling-mmbert-100k-rams (Stage B, RAMS fine-tune)

Research checkpoint from the mmBERT head-init data-scaling curve (private). The warmed base whr778/scaling-mmbert-100k (mmBERT-base from_encoder, warmed on ~100,000 structure/argument records) fine-tuned on RAMS under the fixed mmbert-base-rams recipe (15 epochs, bce_posweight 4.0, native long-context, argument-strict checkpoint selection).

RAMS blind-test (871 docs), strict micro-F1

metric	score
event_argument_strict	0.158
event_trigger_strict	0.732

This is the N=100k point's y-value on the curve: RAMS argument-strict F1 vs Stage-A corpus size. Curve context: N=0 (fresh heads → RAMS) = 0.050; a DeBERTa-v3 fastino warm-start (254K) reaches 0.462 as a cross-encoder reference.

Purpose

Quantifies whether warming mmBERT's heads on ~100,000 records lifts downstream RAMS argument extraction. See SCALING_CURVE_EXPERIMENT.md and PAPER.md §10.

Caveats

Research artifact, private. One point on a scaling curve, not a general release.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gliner2

Нельзя запустить

Модели GLiNER требуют отдельного рантайма.

Ревизия весов: fb66159