Характеристики

Контекст: 8 192 токена
Архитектура: extractor · dense
Библиотека: gliner2
Опубликована: 4 авг 2026

Ссылки

scaling-mmbert-40k-rams

Разметка токеновТекст → label3 профессии

Исследовательский чекпойнт mmBERT, дообученный на RAMS для выделения триггеров и аргументов событий и оценки эффекта разогрева голов на 40 тысячах записей.

6скачиваний за 30 дней0лайковвеса обновлены4 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исследовательский чекпойнт whr778 для извлечения событий и их аргументов на датасете RAMS. Это Stage B эксперимента по масштабированию mmBERT: модель whr778/scaling-mmbert-40k, предварительно разогретая на примерно 40 тысячах записей о структуре событий и аргументах, дообучена на RAMS по фиксированному рецепту mmbert-base-rams в течение 15 эпох. В слепом тесте на 871 документе строгая micro-F1 составила 0,115 для извлечения аргументов и 0,706 для определения триггеров событий.

Модель предназначена для измерения влияния предварительного обучения голов mmBERT на извлечение аргументов событий RAMS; это одна точка экспериментальной кривой масштабирования, а не универсальный релиз. В README указана поддержка длинного контекста, однако его длина не приведена. Доступ к артефакту обозначен как частный; лицензия в предоставленных данных не указана.

Сценарии применения

извлечение аргументов событий из документов RAMS
определение триггеров событий в тексте
сравнение результатов дообучения mmBERT при разном масштабе разогрева

Ограничения

Это частный исследовательский чекпойнт, рассчитанный на одну точку кривой масштабирования, а не на общее применение. На слепом тесте RAMS строгая micro-F1 для аргументов событий составляет 0,115.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

scaling-mmbert-40k-rams (Stage B, RAMS fine-tune)

Research checkpoint from the mmBERT head-init data-scaling curve (private). The warmed base whr778/scaling-mmbert-40k (mmBERT-base from_encoder, warmed on ~40,000 structure/argument records) fine-tuned on RAMS under the fixed mmbert-base-rams recipe (15 epochs, bce_posweight 4.0, native long-context, argument-strict checkpoint selection).

RAMS blind-test (871 docs), strict micro-F1

metric	score
event_argument_strict	0.115
event_trigger_strict	0.706

This is the N=40k point's y-value on the curve: RAMS argument-strict F1 vs Stage-A corpus size. Curve context: N=0 (fresh heads → RAMS) = 0.050; a DeBERTa-v3 fastino warm-start (254K) reaches 0.462 as a cross-encoder reference.

Purpose

Quantifies whether warming mmBERT's heads on ~40,000 records lifts downstream RAMS argument extraction. See SCALING_CURVE_EXPERIMENT.md and PAPER.md §10.

Caveats

Research artifact, private. One point on a scaling curve, not a general release.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gliner2

Нельзя запустить

Модели GLiNER требуют отдельного рантайма.

Ревизия весов: 2b5973e