Характеристики

Лицензия: Apache 2.0
Базовая модель: bert-base-cased
Опубликована: 5 мар 2024

Ссылки

Hugging Face

pii_model

ab-ai

Разметка токеновТекст → label5 профессий

Дообученная BERT-модель для обнаружения и разметки персональных данных в английском тексте.

18скачиваний за 30 дней30лайковвеса обновлены4 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель ab-ai/pii_model — дообученная версия BERT-base-cased для токенной классификации и обнаружения персональных данных в тексте. Её разработал Abhijeet Santosh Lokhande; модель обучена на датасете generator и распространяется под лицензией Apache-2.0.

Модель размечает токены, относящиеся к именам, адресам, датам рождения, телефонам, электронной почте, номерам банковских карт и счетов, SSN, паролям и другим указанным в карточке категориям PII. Она подходит для выявления чувствительных фрагментов перед редактированием или маскированием документов и пользовательских данных. В карточке приведены результаты оценки: precision 95,53%, recall 96,60%, F1 96% и accuracy 99,11%.

Это текстовая модель на архитектуре BERT; карточка заявляет поддержку английского языка. Показатели получены на указанной в карточке оценке и не гарантируют аналогичного качества на других данных или для всех типов сущностей. Для критичных сценариев защиты данных необходима проверка результатов.

Сценарии применения

поиск имён и адресов в документах
обнаружение телефонов и адресов электронной почты
выявление номеров банковских карт и счетов
поиск SSN, PIN-кодов и паролей
разметка дат рождения и других чувствительных данных перед маскированием

Ограничения

Заявленные метрики относятся к оценке на данных карточки и могут не переноситься на другие домены. Для надёжного обнаружения всех видов PII требуется проверка на целевых данных.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей IV.2Отраслевые задачиБанки, платежи и инвестицииAI помогает управлять финансовым риском, платежами, инвестиционным анализом и обслуживанием клиентов.37 задач1 723модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

IV.8Государственное управление, правосудие и чрезвычайные ситуации

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Personal Identifiable Information (PII Model)

This model is a fine-tuned version of bert-base-cased on the generator dataset. It achieves the following results:

Training Loss: 0.003900
Validation Loss: 0.051071
Precision: 95.53%
Recall: 96.60%
F1: 96%
Accuracy:99.11%

Model description

Meet our digital safeguard, a savvy token classification model with a knack for spotting personally identifiable information (PII) entities. Trained on the illustrious Bert architecture and fine-tuned on a custom dataset, this model is like a superhero for privacy, swiftly detecting names, addresses, dates of birth, and more. With each token it encounters, it acts as a vigilant guardian, ensuring that sensitive information remains shielded from prying eyes, making the digital realm a safer and more secure place to explore.

Model can Detect Following Entity Group

ACCOUNTNUMBER
FIRSTNAME
ACCOUNTNAME
PHONENUMBER
CREDITCARDCVV
CREDITCARDISSUER
PREFIX
LASTNAME
AMOUNT
DATE
DOB
COMPANYNAME
BUILDINGNUMBER
STREET
SECONDARYADDRESS
STATE
EMAIL
CITY
CREDITCARDNUMBER
SSN
URL
USERNAME
PASSWORD
COUNTY
PIN
MIDDLENAME
IBAN
GENDER
AGE
ZIPCODE
SEX

Training hyperparameters

The following hyperparameters were used during training:

Hyperparameter	Value
Learning Rate	5e-5
Train Batch Size	16
Eval Batch Size	16
Number of Training Epochs	7
Weight Decay	0.01
Save Strategy	Epoch
Load Best Model at End	True
Metric for Best Model	F1
Push to Hub	True
Evaluation Strategy	Epoch
Early Stopping Patience	3

Training results

Epoch	Training Loss	Validation Loss	Precision (%)	Recall (%)	F1 Score (%)	Accuracy (%)
1	0.0443	0.038108	91.88	95.17	93.50	98.80
2	0.0318	0.035728	94.13	96.15	95.13	98.90
3	0.0209	0.032016	94.81	96.42	95.61	99.01
4	0.0154	0.040221	93.87	95.80	94.82	98.88
5	0.0084	0.048183	94.21	96.06	95.13	98.93
6	0.0037	0.052281	94.49	96.60	95.53	99.07

Author

Abhijeet Santosh Lokhande abhijeetlokhande1996@gmail.com | https://www.linkedin.com/in/ablds/ | https://github.com/abhijeetscode

Framework versions

Transformers 4.38.2
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: bbb5e83