Характеристики

Размер весов: 783 МБ
Лицензия: MIT
Опубликована: 14 окт 2022

Ссылки

flair-pii-distilbert

Разметка токеновТекст → label9 профессий

Модель Flair на основе DistilBERT находит и размечает персональные данные и другие именованные сущности в англоязычном тексте.

476скачиваний за 30 дней4лайкавеса обновлены6 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель beki/flair-pii-distilbert — модель распознавания именованных сущностей для выявления персональных данных в англоязычном тексте. Разработчик обучил её в Flair на трассировках протоколов, сгенерированных набором Privy; для представлений токенов используются эмбеддинги DistilBERT. Модель размечает пять классов сущностей, включая имена людей, названия мест и организаций.

Модель предназначена для поиска и разметки PII в тексте, например при проверке журналов протоколов. В README приведён показатель F1 0,9522. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Указанная в карточке совместимость пакета spaCy — версии от 3.4.1 до 3.5.0.

Сценарии применения

поиск имён людей в текстовых трассировках протоколов
обнаружение названий мест в англоязычных записях
выявление организаций в тексте
разметка персональных данных перед проверкой или очисткой журналов

Ограничения

Модель обучена на синтетических трассировках протоколов Privy, поэтому качество на других типах текста может отличаться. README не раскрывает все пять классов сущностей в доступном фрагменте и указывает узкий диапазон совместимости spaCy: от 3.4.1 до 3.5.0.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Feature	Description
Name	`en_spacy_pii_distilbert`
Version	`0.0.0`
spaCy	`>=3.4.1,<3.5.0`
Default Pipeline	`transformer`, `ner`
Components	`transformer`, `ner`
Vectors	0 keys, 0 unique vectors (0 dimensions)
Sources	Trained on a new dataset for structured PII generated by Privy. For more details, see this blog post
License	MIT
Author	Benjamin Kilimnik

English PII in Flair

This is the large 5-class NER model for English trained on protocol trace data generated by Privy

F1-Score: 0.9522

Predicts 5 tags:

tag	meaning
PER	person name
LOC	location name
ORG	organization name
DATE_TIME	dates and times
NRP	nationalities, religious and political groups

Uses distilbert embeddings.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели Flair требуют отдельного рантайма.

Ревизия весов: 20fb59f