/ Модель

Характеристики

Размер весов
1,3 ГБ
Лицензия
Apache 2.0
Опубликована
5 июл 2024

gliner-small-pii

Разметка токеновТекст → label5 профессий

Модель GLiNER для поиска и классификации персональных и чувствительных данных в тексте.

96скачиваний за 30 дней9лайковвеса обновлены25 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GLiNER-small-PII — модель распознавания именованных сущностей, разработанная Vicgalle путём дообучения gliner-community/gliner_small-v2.5 на синтетическом наборе данных urchade/synthetic-pii-ner-mistral-v1. Она предназначена для поиска и классификации персональных данных в текстах, включая имена, организации, контакты, адреса, номера удостоверений, финансовые и медицинские сведения, а также другие идентификаторы.

Модель использует архитектуру GLiNER и решает задачу token-classification. Карточка перечисляет поддержку английского, французского, немецкого, испанского, португальского и итальянского языков. Веса доступны в форматах PyTorch и Safetensors по лицензии Apache-2.0.

Модель подходит для первичного выявления конфиденциальных фрагментов в документах и текстовых потоках. Порог извлечения влияет на полноту результатов; распознавание не гарантирует обнаружения всех сущностей и может требовать проверки человеком, особенно для чувствительных или регулируемых данных.

Сценарии применения

  • поиск имён, адресов и контактов в документах
  • обнаружение номеров паспортов и других удостоверений личности
  • выявление платёжных реквизитов и номеров банковских карт
  • поиск медицинских сведений и страховых идентификаторов
  • извлечение персональных данных для последующей проверки или обезличивания

Ограничения

Качество распознавания зависит от текста и выбранного порога: низкий порог может повысить полноту, но результаты следует проверять, поскольку модель может пропускать сущности или ошибочно их классифицировать. Обучение на синтетическом наборе данных не гарантирует одинакового качества на реальных документах и во всех перечисленных языках.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GLiNER-small-PII

This model has been trained by fine-tuning gliner-community/gliner_small-v2.5 on the urchade/synthetic-pii-ner-mistral-v1 dataset.

This model is capable of recognizing various types of personally identifiable information (PII), including but not limited to these entity types: person, organization, phone number, address, passport number, email, credit card number, social security number, health insurance id number, date of birth, mobile phone number, bank account number, medication, cpf, driver's license number, tax identification number, medical condition, identity card number, national id number, ip address, email address, iban, credit card expiration date, username, health insurance number, registration number, student id number, insurance number, flight number, landline phone number, blood type, cvv, reservation number, digital signature, social media handle, license plate number, cnpj, postal code, passport_number, serial number, vehicle registration number, credit card brand, fax number, visa number, insurance company, identity document number, transaction number, national health insurance number, cvc, birth certificate number, train ticket number, passport expiration date, and social_security_number.

Usage

model = GLiNER.from_pretrained("vicgalle/gliner-small-pii", load_tokenizer=True)

text = """
Harilala Rasoanaivo, un homme d'affaires local d'Antananarivo, a enregistré une nouvelle société nommée "Rasoanaivo Enterprises" au Lot II M 92 Antohomadinika. Son numéro est le +261 32 22 345 67, et son adresse électronique est harilala.rasoanaivo@telma.mg. Il a fourni son numéro de sécu 501-02-1234 pour l'enregistrement.
"""

labels = [
    "work",
    "booking number",
    "personally identifiable information",
    "driver licence",
    "person",
    "book",
    "postal address",
    "company",
    "actor",
    "character",
    "email",
    "passport number",
    "SSN",
    "phone number",
]
entities = model.predict_entities(text, labels, threshold=0.1)

for entity in entities:
    print(entity["text"], "=>", entity["label"])
Harilala Rasoanaivo => person
Rasoanaivo Enterprises => company
Lot II M 92 Antohomadinika => postal address
+261 32 22 345 67 => phone number
harilala.rasoanaivo@telma.mg => email
501-02-1234 => SSN

Note: it may be beneficial to lower the threshold (see the previous example), to extract all related entities.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели GLiNER требуют отдельного рантайма.

Ревизия весов
aaafd3b

0 моделей