Характеристики

Контекст: 8 192 токена
Архитектура: extractor · dense
Библиотека: gliner2
Опубликована: 4 авг 2026

Ссылки

scaling-mmbert-40k

Разметка токеновТекст → label3 профессии

Исследовательский многоязычный чекпойнт mmBERT с прогретыми головами GLiNER2 для последующего дообучения на извлечение событий.

7скачиваний за 30 дней0лайковвеса обновлены4 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это исследовательский чекпойнт whr778, созданный для эксперимента с масштабированием данных и инициализацией голов извлечения событий. В основе — энкодер mmBERT-base от jhu-clsp с новыми головами GLiNER2, прогретыми на примерно 40 тысячах многоязычных записей о событиях и их аргументах в течение пяти эпох. Для обучения использовалось окно контекста 2048 токенов.

Модель предназначена как промежуточная инициализация для последующего дообучения под извлечение событий или другую задачу извлечения структурированной информации. Это не готовая модель для конкретной downstream-задачи и не универсальный извлекатель; README приводит RAMS как пример последующего дообучения. Качество разметки ограничено исходными корпусами событий, а сама модель не оценивалась как универсальная. Лицензия в доступных данных не указана.

Сценарии применения

инициализация модели для дообучения на извлечение событий
адаптация к извлечению аргументов событий из текста
эксперименты с влиянием размера обучающих данных на извлечение информации

Ограничения

Это промежуточный исследовательский чекпойнт, который требует дообучения под конкретную задачу и не оценивался как универсальная модель. Качество ограничено разметкой исходных корпусов событий.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

scaling-mmbert-40k (Stage A, warmed base)

Research checkpoint from the mmBERT head-init data-scaling curve (private). mmBERT-base with fresh GLiNER2 heads (from_encoder) warmed on ~40,000 structure/argument-dense event records (multilingual, assembled from public event corpora; RAMS/WikiEvents held out to avoid leakage), 5 epochs.

This is the N=40k point's warmed base — the reusable head-init artifact. It is not fine-tuned on any single downstream task; fine-tune it (e.g. on RAMS) to obtain a usable event model. The paired fine-tune is whr778/scaling-mmbert-40k-rams.

Purpose

Measures how much structure/argument data is needed to warm mmBERT's fresh extraction heads before downstream fine-tuning (head-initialization thesis). See the experiment spec SCALING_CURVE_EXPERIMENT.md.

Encoder: jhu-clsp/mmBERT-base (native long-context, 2048 training window)
Stage-A corpus size: ~40,000 records
Loss: bce_posweight (pos_weight 4.0); differential-style LR (encoder 2e-5 / heads 5e-4)

Caveats

Research artifact, private, not benchmarked as a general model. Label quality is bounded by the source event corpora. One point on a scaling curve, not a release.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gliner2

Нельзя запустить

Модели GLiNER требуют отдельного рантайма.

Ревизия весов: d246c89