Характеристики

Контекст: 8 192 токена
Архитектура: extractor · dense
Библиотека: gliner2
Опубликована: 5 авг 2026

Ссылки

scaling-mmbert-100k

Разметка токеновТекст → label3 профессии

Исследовательский чекпойнт mmBERT с прогретыми головами GLiNER2 для изучения масштабирования данных при извлечении событий и последующего дообучения.

9скачиваний за 30 дней0лайковвеса обновлены5 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исследовательский чекпойнт scaling-mmbert-100k от whr778 — промежуточная точка эксперимента по масштабированию данных для извлечения событий. Он основан на энкодере jhu-clsp/mmBERT-base со свежими головами GLiNER2 и прогрет примерно на 100 тысячах многоязычных записей с плотной структурой аргументов событий в течение пяти эпох. Окно обучения составляло 2048 токенов.

Модель предназначена для изучения влияния объёма структурированных данных на инициализацию голов извлечения перед последующим дообучением. Это повторно используемый артефакт инициализации, а не готовая модель для отдельной задачи: для практического извлечения событий её нужно дообучить на целевом наборе данных. Чекпойнт не оценивался как универсальная модель; качество разметки ограничено исходными корпусами событий. В README указана частная исследовательская модель; лицензия в доступных данных не приведена.

Сценарии применения

Исследование влияния размера обучающих данных на инициализацию голов извлечения событий
Инициализация модели для последующего дообучения на целевом корпусе событий
Эксперименты по извлечению аргументов событий из многоязычных текстов

Ограничения

Это экспериментальная исследовательская точка на кривой масштабирования, а не готовая модель для прикладного использования; для целевой задачи требуется дообучение. Качество ограничено разметкой исходных корпусов событий.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

scaling-mmbert-100k (Stage A, warmed base)

Research checkpoint from the mmBERT head-init data-scaling curve (private). mmBERT-base with fresh GLiNER2 heads (from_encoder) warmed on ~100,000 structure/argument-dense event records (multilingual, assembled from public event corpora; RAMS/WikiEvents held out to avoid leakage), 5 epochs.

This is the N=100k point's warmed base — the reusable head-init artifact. It is not fine-tuned on any single downstream task; fine-tune it (e.g. on RAMS) to obtain a usable event model. The paired fine-tune is whr778/scaling-mmbert-100k-rams.

Purpose

Measures how much structure/argument data is needed to warm mmBERT's fresh extraction heads before downstream fine-tuning (head-initialization thesis). See the experiment spec SCALING_CURVE_EXPERIMENT.md.

Encoder: jhu-clsp/mmBERT-base (native long-context, 2048 training window)
Stage-A corpus size: ~100,000 records
Loss: bce_posweight (pos_weight 4.0); differential-style LR (encoder 2e-5 / heads 5e-4)

Caveats

Research artifact, private, not benchmarked as a general model. Label quality is bounded by the source event corpora. One point on a scaling curve, not a release.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gliner2

Нельзя запустить

Модели GLiNER требуют отдельного рантайма.

Ревизия весов: f856e64