Характеристики

Контекст: 8 192 токена
Параметры: 307 млн
Лицензия: MIT
Архитектура: modernbert · dense
Базовая модель: mmBERT-base
Библиотека: transformers
Опубликована: 25 авг 2026

Ссылки

pii-dual-mmbert-base-v2

Разметка токеновТекст → label4 профессии

Дообученный многоязычный ModernBERT для токенной классификации, предположительно предназначенный для обнаружения персональных данных в тексте.

18скачиваний за 30 дней0лайковвеса обновлены26 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

jefftherover/pii-dual-mmbert-base-v2 — дообученная модель на базе многоязычного энкодера jhu-clsp/mmBERT-base для классификации токенов. По названию модели можно предположить, что она предназначена для обнаружения и разметки персональных данных (PII) в тексте, однако README не описывает её назначение и метки, а обучающий датасет указан как неизвестный. Модель содержит 306,9 млн параметров, использует архитектуру ModernBERT и принимает последовательности длиной до 8192 токенов.

В README приведены результаты оценки: F1 0,9970, точность 0,9963 и полнота 0,9977; датасет и методика оценки не раскрыты, поэтому эти показатели нельзя считать подтверждением качества на новых данных. Модель доступна в формате Safetensors через Transformers и распространяется по лицензии MIT.

Сценарии применения

поиск персональных данных в тексте
разметка токенов с персональными данными
проверка текстов перед публикацией или передачей

Ограничения

README не раскрывает датасет, метки и intended use, поэтому назначение для обнаружения PII следует считать предположительным. Метрики приведены без описания оценочного набора и методики и не гарантируют качество на других данных.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей IV.2Отраслевые задачиБанки, платежи и инвестицииAI помогает управлять финансовым риском, платежами, инвестиционным анализом и обслуживанием клиентов.37 задач1 723модели IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pii-dual-mmbert-base-v2

This model is a fine-tuned version of jhu-clsp/mmBERT-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0022
Precision: 0.9963
Recall: 0.9977
F1: 0.9970
Accuracy: 0.9995

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 16
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine_with_restarts
lr_scheduler_warmup_steps: 200
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0118	0.4638	2000	0.0101	0.9835	0.9912	0.9873	0.9973
0.0097	0.9275	4000	0.0049	0.9923	0.9960	0.9942	0.9988
0.0177	1.3912	6000	0.0030	0.9939	0.9957	0.9948	0.9990
0.0044	1.8550	8000	0.0030	0.9949	0.9967	0.9958	0.9991
0.0021	2.3186	10000	0.0026	0.9941	0.9957	0.9949	0.9992
0.0049	2.7824	12000	0.0018	0.9961	0.9978	0.9970	0.9994
0.0002	3.2460	14000	0.0023	0.9963	0.9979	0.9971	0.9994
0.0007	3.7098	16000	0.0022	0.9964	0.9978	0.9971	0.9995
0.0001	4.0	17252	0.0022	0.9963	0.9977	0.9970	0.9995

Framework versions

Transformers 5.15.1
Pytorch 2.13.0+cu130
Datasets 5.0.1
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForTokenClassification
Ревизия весов: eacb390