Характеристики

Контекст: 8 192 токена
Архитектура: extractor · dense
Библиотека: gliner2
Опубликована: 4 авг 2026

Ссылки

Hugging Face

scaling-mmbert-10k-rams

whr778

Разметка токеновТекст → label3 профессии

Исследовательский чекпойнт mmBERT, дообученный на RAMS для измерения влияния прогрева на извлечение аргументов событий.

7скачиваний за 30 дней0лайковвеса обновлены4 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исследовательский чекпойнт whr778 для извлечения событий и их аргументов из текста. Это этап B эксперимента по масштабированию инициализации голов mmBERT: базовая модель whr778/scaling-mmbert-10k предварительно обучалась на примерно 10 000 записей структуры и аргументов, затем дообучалась на RAMS по фиксированному рецепту в течение 15 эпох. Чекпойнт предназначен для оценки влияния такого прогрева на извлечение аргументов RAMS, а не для общего применения.

На слепом тесте RAMS из 871 документа строгая micro-F1 для аргументов событий составляет 0,050, а для триггеров событий — 0,598. Результат показывает слабое качество извлечения аргументов в данном эксперименте. Артефакт исследовательский и приватный; сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

экспериментальное извлечение аргументов событий в документах RAMS
выделение триггеров событий для оценки исследовательской модели
сравнение результатов разных размеров корпуса прогрева mmBERT

Ограничения

Исследовательская точка на кривой масштабирования, не предназначенная для общего применения; на слепом тесте RAMS строгая micro-F1 извлечения аргументов равна 0,050. Артефакт приватный, а лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

scaling-mmbert-10k-rams (Stage B, RAMS fine-tune)

Research checkpoint from the mmBERT head-init data-scaling curve (private). The warmed base whr778/scaling-mmbert-10k (mmBERT-base from_encoder, warmed on ~10,000 structure/argument records) fine-tuned on RAMS under the fixed mmbert-base-rams recipe (15 epochs, bce_posweight 4.0, native long-context, argument-strict checkpoint selection).

RAMS blind-test (871 docs), strict micro-F1

metric	score
event_argument_strict	0.050
event_trigger_strict	0.598

This is the N=10k point's y-value on the curve: RAMS argument-strict F1 vs Stage-A corpus size. Curve context: N=0 (fresh heads → RAMS) = 0.050; a DeBERTa-v3 fastino warm-start (254K) reaches 0.462 as a cross-encoder reference.

Purpose

Quantifies whether warming mmBERT's heads on ~10,000 records lifts downstream RAMS argument extraction. See SCALING_CURVE_EXPERIMENT.md and PAPER.md §10.

Caveats

Research artifact, private. One point on a scaling curve, not a general release.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gliner2

Нельзя запустить

Модели GLiNER требуют отдельного рантайма.

Ревизия весов: 33209af