Характеристики

Контекст: 8 192 токена
Архитектура: extractor · dense
Библиотека: gliner2
Опубликована: 4 авг 2026

Ссылки

scaling-mmbert-10k

Разметка токеновТекст → label3 профессии

Исследовательский чекпойнт mmBERT с предварительно прогретыми экстракционными головами GLiNER2 для последующего дообучения на извлечение событий.

6скачиваний за 30 дней0лайковвеса обновлены4 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исследовательский чекпойнт whr778 для эксперимента по масштабированию данных и предварительной настройке экстракционных голов GLiNER2 на базе mmBERT. Энкодер jhu-clsp/mmBERT-base и новые головы from_encoder обучались пять эпох примерно на 10 000 многоязычных записей с плотной структурой событий и аргументов. RAMS и WikiEvents исключались из обучающих данных, чтобы избежать утечки в последующую оценку.

Модель предназначена как заготовка для дальнейшего дообучения на извлечение событий и связанных аргументов; README приводит RAMS в качестве примера последующей настройки. Это не готовая модель для конкретной задачи или общего применения. Для энкодера указано окно обучения 2048 токенов. Качество ограничено разметкой исходных корпусов; модель не проходила бенчмаркинг как универсальный экстрактор. Лицензия в доступных данных не указана.

Сценарии применения

Дообучение на извлечение событий из текста
Эксперименты с влиянием объёма данных на настройку экстракционных голов
Настройка извлечения аргументов событий на специализированном корпусе

Ограничения

Это промежуточный исследовательский чекпойнт, который требует дообучения под конкретную задачу и не проверен как готовая универсальная модель. Качество разметки ограничено исходными корпусами событий.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

scaling-mmbert-10k (Stage A, warmed base)

Research checkpoint from the mmBERT head-init data-scaling curve (private). mmBERT-base with fresh GLiNER2 heads (from_encoder) warmed on ~10,000 structure/argument-dense event records (multilingual, assembled from public event corpora; RAMS/WikiEvents held out to avoid leakage), 5 epochs.

This is the N=10k point's warmed base — the reusable head-init artifact. It is not fine-tuned on any single downstream task; fine-tune it (e.g. on RAMS) to obtain a usable event model. The paired fine-tune is whr778/scaling-mmbert-10k-rams.

Purpose

Measures how much structure/argument data is needed to warm mmBERT's fresh extraction heads before downstream fine-tuning (head-initialization thesis). See the experiment spec SCALING_CURVE_EXPERIMENT.md.

Encoder: jhu-clsp/mmBERT-base (native long-context, 2048 training window)
Stage-A corpus size: ~10,000 records
Loss: bce_posweight (pos_weight 4.0); differential-style LR (encoder 2e-5 / heads 5e-4)

Caveats

Research artifact, private, not benchmarked as a general model. Label quality is bounded by the source event corpora. One point on a scaling curve, not a release.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gliner2

Нельзя запустить

Модели GLiNER требуют отдельного рантайма.

Ревизия весов: fc67b43