Характеристики

Контекст: 8 192 токена
Параметры: 93,8 млн
Архитектура: modernbert · dense
Библиотека: transformers
Опубликована: 14 июл 2026

Ссылки

pii-layout-synth-distil-v2

Разметка токеновТекст → label

Дообученная модель ModernBERT для классификации токенов; вероятно, предназначена для разметки синтетических примеров персональной информации.

8скачиваний за 30 дней0лайковвеса обновлены15 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

jefftherover/pii-layout-synth-distil-v2 — дообученная модель семейства ModernBERT для классификации токенов. Она содержит 93,8 млн параметров, использует формат safetensors и поддерживает контекст до 8192 токенов. По названию репозитория можно предположить, что модель связана с синтетическими данными для разметки персональной информации и её расположения в тексте, однако карточка не описывает это назначение и не раскрывает набор меток.

В README приведены результаты оценки: F1 0,9933, точность 0,9988, precision 0,9916 и recall 0,9951. Данных о языках, лицензии, обучающем наборе и ограничениях применения в карточке нет; метрики не позволяют определить, на каких данных и сценариях модель будет работать с такой же эффективностью.

Сценарии применения

классификация токенов в тексте
эксперименты с разметкой персональной информации
оценка качества модели на задаче классификации токенов

Ограничения

Карточка не описывает набор меток, обучающие данные, поддерживаемые языки, лицензию и ограничения применения. Высокие метрики приведены без сведений о составе и репрезентативности оценочного набора.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pii-layout-synth-distil-v2

This model is a fine-tuned version of jefftherover/pii-layout-synth-distil-v2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0048
Precision: 0.9916
Recall: 0.9951
F1: 0.9933
Accuracy: 0.9988

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0002
train_batch_size: 16
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine_with_restarts
lr_scheduler_warmup_steps: 200
num_epochs: 5
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
9.4312	0.9685	2000	0.0066	0.9893	0.9944	0.9918	0.9984
8.3837	1.9370	4000	0.0056	0.9896	0.9935	0.9916	0.9986
7.6715	2.9056	6000	0.0049	0.9915	0.9948	0.9931	0.9987
7.4892	3.8741	8000	0.0048	0.9914	0.9947	0.9930	0.9988
7.1226	4.8426	10000	0.0048	0.9914	0.9949	0.9932	0.9988
7.3554	5.0	10325	0.0048	0.9916	0.9951	0.9933	0.9988

Framework versions

Transformers 5.13.1
Pytorch 2.13.0+cu130
Datasets 5.0.0
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForTokenClassification
Ревизия весов: 3944e6c