Характеристики

Контекст: 8 192 токена
Параметры: 307 млн
Лицензия: MIT
Архитектура: modernbert · dense
Базовая модель: mmBERT-base
Библиотека: transformers
Опубликована: 2 сен 2026

Ссылки

Hugging Face

pii-dual-mmbert-base-v7

jefftherover

Разметка токеновТекст → label

Дообученная многоязычная ModernBERT-модель для поиска и разметки персональных данных в тексте.

22скачиваний за 30 дней0лайковвеса обновлены2 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

pii-dual-mmbert-base-v7 — дообученная модель на основе jhu-clsp/mmBERT-base для классификации токенов. По названию репозитория и типу задачи модель предназначена для выявления и разметки персональных данных (PII) в тексте. Использовать её можно для поиска чувствительных фрагментов в документах и подготовки текстов к маскированию или обезличиванию.

Модель построена на архитектуре ModernBERT, содержит около 306,9 млн параметров и поддерживает контекст до 8192 токенов. Она распространяется в формате Safetensors по лицензии MIT. В README приведены результаты оценки: F1 0,9977, точность 0,9972 и полнота 0,9981, однако набор данных и условия оценки не описаны, поэтому эти показатели нельзя считать подтверждением качества на других данных.

Сценарии применения

поиск персональных данных в текстовых документах
разметка фрагментов с чувствительной информацией
подготовка текстов к маскированию PII
проверка текстовых массивов перед обезличиванием

Ограничения

README не раскрывает обучающий набор данных и условия оценки, поэтому заявленные метрики могут не переноситься на другие домены и типы текста. Языки, на которых модель проверена для обнаружения PII, не указаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pii-dual-mmbert-base-v7

This model is a fine-tuned version of jhu-clsp/mmBERT-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0022
Precision: 0.9972
Recall: 0.9981
F1: 0.9977
Accuracy: 0.9995

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 16
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine_with_restarts
lr_scheduler_warmup_steps: 200
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0091	0.6584	2000	0.0039	0.9932	0.9962	0.9947	0.9989
0.0097	1.3167	4000	0.0047	0.9948	0.9969	0.9959	0.9988
0.0028	1.9751	6000	0.0020	0.9961	0.9978	0.9969	0.9994
0.0015	2.6334	8000	0.0018	0.9973	0.9984	0.9978	0.9995
0.0003	3.2917	10000	0.0021	0.9973	0.9982	0.9977	0.9995
0.0002	3.9501	12000	0.0022	0.9972	0.9981	0.9977	0.9995
0.0003	4.0	12152	0.0022	0.9972	0.9981	0.9977	0.9995

Framework versions

Transformers 5.16.1
Pytorch 2.14.0+cu130
Datasets 5.0.1
Tokenizers 0.23.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForTokenClassification
Ревизия весов: a80c761