Характеристики

Контекст: 8 192 токена
Параметры: 307 млн
Лицензия: MIT
Архитектура: modernbert · dense
Базовая модель: mmBERT-base
Библиотека: transformers
Опубликована: 7 окт 2026

Ссылки

pii-dual-nym-mmbert-base-v5

Разметка токеновТекст → label

Дообученная многоязычная ModernBERT для разметки токенов, вероятно, с целью обнаружения и анонимизации персональных данных.

425скачиваний за 30 дней0лайковвеса обновлены7 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

pii-dual-nym-mmbert-base-v5 — дообученная модель на базе jhu-clsp/mmBERT-base для классификации токенов. Она предназначена для разметки последовательностей текста; название указывает на задачу обнаружения и анонимизации персональных данных, однако карточка не описывает схему меток и способ применения результатов. Модель содержит 306,9 млн параметров, использует архитектуру ModernBERT и принимает контекст длиной до 8192 токенов.

В README приведены метрики на оценочном наборе: precision 0,9949, recall 0,9961, F1 0,9955 и accuracy 0,9990. Данные обучения не описаны, поэтому метрики нельзя независимо интерпретировать вне этого набора. Модель распространяется по лицензии MIT.

Сценарии применения

поиск персональных данных в тексте
разметка фрагментов текста для последующей анонимизации
построение конвейера обработки чувствительных текстовых данных

Ограничения

В README не описаны набор данных, схема меток и ограничения применения; приведённые метрики относятся только к указанному оценочному набору и не подтверждают качество на других данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pii-dual-nym-mmbert-base-v5

This model is a fine-tuned version of jhu-clsp/mmBERT-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0036
Precision: 0.9949
Recall: 0.9961
F1: 0.9955
Accuracy: 0.9990

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 16
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine_with_restarts
lr_scheduler_warmup_steps: 200
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0239	0.8623	2000	0.0041	0.9896	0.9940	0.9918	0.9986
0.0057	1.7243	4000	0.0044	0.9918	0.9950	0.9934	0.9989
0.0018	2.5863	6000	0.0036	0.9943	0.9957	0.9950	0.9990
0.0011	3.4484	8000	0.0037	0.9947	0.9961	0.9954	0.9990
0.0007	4.0	9280	0.0036	0.9949	0.9961	0.9955	0.9990

Framework versions

Transformers 5.19.0
Pytorch 2.14.1+cu130
Datasets 5.1.0
Tokenizers 0.23.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForTokenClassification
Ревизия весов: 5aecb52