/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Базовая модель
LFM2.5-Encoder-350M-PII-Detector
Библиотека
transformers
Опубликована
31 июл 2026

meddies-pii-v2

Разметка токеновТекст → label4 профессии

Многоязычная модель MeddiesAI извлекает символьные фрагменты с девятью типами персональных данных для проверки и обезличивания текстов.

71скачиваний за 30 дней2лайкавеса обновлены13 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Meddies PII v2 — энкодер на 350 млн параметров для обнаружения персональных данных в тексте, разработанный MeddiesAI на основе LiquidAI LFM2.5 Encoder 350M PII Detector. Модель дообучена с помощью LoRA и классификационной головы BIOES; она находит девять типов данных: адреса, названия компаний, даты, адреса электронной почты, имена людей, идентификаторы, номера телефонов, приватные URL и секреты. Для каждого фрагмента возвращаются метка и точные символьные границы.

Модель предназначена прежде всего для проверки клинических записей, направлений, сообщений и экспортированных документов перед обезличиванием или передачей. Она поддерживает 17 языков, включая русский, английский, немецкий, испанский, французский, японский и китайский. В README приведены результаты оценки на смешанном наборе из синтетических и открытых данных; они не гарантируют качество на документах конкретной организации.

Модель не анализирует изображения и структуру документа, не размечает диагнозы, лабораторные результаты, возраст, дозировки и медицинские измерения; закрытый набор меток не охватывает все виды идентификаторов. Авторы предупреждают, что модель может пропустить данные, поэтому необходима проверка человеком, особенно в регулируемых процессах. Для релиза указана лицензия CC BY-NC 4.0 на права MeddiesAI; материалы LiquidAI подчиняются отдельной лицензии LFM Open License v1.0.

Сценарии применения

  • поиск имён, телефонов и адресов в клинических записях
  • выделение идентификаторов пациентов перед обезличиванием документов
  • проверка направлений и сообщений перед передачей
  • обнаружение электронных адресов, приватных ссылок и секретов в экспортированных записях
  • разметка персональных данных в многоязычных текстах

Ограничения

Модель может пропускать идентификаторы и неточно определять границы фрагментов; для адресов в оценке отмечено снижение точности. Набор меток закрытый, а результаты на синтетических и открытых данных не гарантируют качество на документах конкретной организации, поэтому необходима проверка человеком.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Meddies PII v2

A 350M encoder that finds nine types of personally identifiable information across 17 languages and returns exact character spans for review and redaction.

[!CAUTION] Keep a human in the loop

This model can miss identifiers. It cannot certify that text is safe to share. Test it on your documents and keep human review in any regulated workflow.

[!NOTE] Commercial licensing

CC BY-NC 4.0 applies to the rights MeddiesAI can license in this release. Contact contact@meddies.ai about commercial terms for those contributions. The underlying LiquidAI materials remain subject to LFM Open License v1.0.

Why this model

Clinical records rarely keep identifiers tidy. One note can mix a patient name, hospital ID, phone number, signed portal link, login secret, and a date format that only makes sense locally. Rules catch the obvious cases, then lose ground when the language or document template changes.

Meddies PII v2 handles those cases through one span extraction interface. We built it for clinical text, but its nine labels also cover general documents that need review before release.

What the model returns

Pass in raw text. The model returns the label, text, start offset, and end offset for every detected span.

  • Nine fixed labels with address, company_name, date, email_address, human_name, id_number, phone_number, private_url, and secret.
  • Seventeen languages with German, English, Spanish, French, Indonesian, Japanese, Korean, Lao, Malay, Burmese, Portuguese, Russian, Tamil, Thai, Filipino, Vietnamese, and Chinese.
  • Character offsets included so every prediction maps back to the source text for review or redaction.
  • Outside the label set are images, layout, diagnoses, lab results, ages, doses, medical measurements, and public links.

Quick start

import sys

from huggingface_hub import snapshot_download

path = snapshot_download("Meddies/meddies-pii-v2")
sys.path.insert(0, path)

from modeling_meddies_pii import MeddiesPiiExtractor

model = MeddiesPiiExtractor.from_pretrained(path)
spans = model.extract(
    "Bệnh nhân Nguyễn Văn A, SĐT 0912 345 678, tái khám ngày 12/08/2026."
)

for span in spans:
    print(span.label, span.start, span.end, span.text)

Expected output

human_name 10 22 Nguyễn Văn A
phone_number 28 40 0912 345 678
date 56 66 12/08/2026

Choose the weight form

FormLoadParity checkUse it when
Adapterfrom_pretrained(path)0 of 200 rows differedYou need the evaluated execution path.
Mergedfrom_pretrained(path, weights="merged")14 of 200 rows differedYou need one self-contained weight file and can accept the measured delta.

Merging folds the adapter into the base weights and changes the numerical path. Borderline BIOES decisions can move. Use the adapter when exact release reproduction matters.

ONNX and local browser use

The ONNX companion packages the same checkpoint for ONNX Runtime and WebGPU. Its full precision graph matched the PyTorch adapter on all 200 parity rows. The current int8 graph differed on 12 of 200 rows.

The browser demo runs on the user's device. Raw clinical text never leaves the device.

Evaluation

Meddies PII v2 reached 0.8937 exact typed micro F1 and 0.9429 containment typed micro F1 on 263,785 benchmark rows. It had the highest exact typed F1 in all 17 evaluation cells, all 17 language slices, and all nine entity families against the six reference systems in this comparison.

Exact typed F1 requires the label and both character boundaries to match. Containment typed F1 accepts a correct label when one span contains the other. Each macro average gives the same weight to the unit named in the column.

ModelEvaluation cell macro F1Language macro F1Entity family macro F1
Meddies PII v20.8330.8520.907
OpenAI Privacy Filter0.6440.5920.673
Meddies PII v10.6020.5740.676
GLiNER20.5810.5390.682
OpenMed PII0.5380.4390.617
LFM2.5 PII Detector0.5360.4460.552

The v2 preview is the earlier 150-step checkpoint that preceded this release.

Evaluation cellMeddies v2GLiNER2v2 previewMeddies v1OpenMedOpenAI PFLFM2.5 PII
ai4privacy_de0.8270.6630.6640.6160.6200.7160.610
ai4privacy_en0.8780.6870.6730.6670.6560.7450.568
ai4privacy_es0.8700.7320.7250.6490.6830.7940.655
ai4privacy_fil0.8480.6900.5900.6060.5840.6670.600
ai4privacy_fr0.8440.6740.6790.6180.6040.7380.611
ai4privacy_id0.8480.6880.6010.5880.5660.6640.627
ai4privacy_ja0.7500.3660.4990.6590.4930.5490.479
ai4privacy_ko0.7390.3220.5230.6110.5450.5540.460
ai4privacy_ms0.8390.6920.5860.5980.5470.6400.587
ai4privacy_pt0.8550.6920.6910.6430.6870.7560.651
ai4privacy_vi0.8800.6280.6150.6440.4990.6340.615
ai4privacy_zh0.8160.4530.6000.6430.4280.5720.548
creddata_en0.5900.3570.2260.0350.1500.3700.263
gretel_en0.8720.5880.7340.7430.7150.6970.729
nemotron_en0.9560.6920.7920.8370.8780.7780.574
v2-eval0.8630.4780.5040.5250.2600.5230.277
v2-eval-challenge0.8930.4730.5680.5510.2280.5570.260
Macro average0.8330.5810.6040.6020.5380.6440.536
Entity familyExact F1Containment F1
address0.6810.866
company_name0.9390.946
date0.9570.961
email_address0.9840.990
human_name0.9170.951
id_number0.9540.958
phone_number0.9190.951
private_url0.9020.925
secret0.9130.936

The benchmark combines synthetic and public corpora. A strong benchmark score does not tell you how the model behaves inside one hospital. Evaluate it on local document types before deployment.

How it was built

We adapted LiquidAI LFM2.5 Encoder 350M PII Detector with rank 128 Low-Rank Adaptation and a 37-tag BIOES classification head.

Training used the Meddies PII v2 dataset and external public corpora rebuilt from their original sources. We do not rehost those external corpora. Checkpoint selection used a pinned control set before the full benchmark. The complete recipe and release checks live in TRAINING.md.

Where it fits

  • Review before redaction for clinical notes, referrals, messages, and exported records.
  • Span extraction inside a de-identification workflow that keeps the source text visible to a reviewer.
  • Multilingual evaluation and domain adaptation for local document formats.

Limits

  • Postal addresses reached 0.681 exact F1 and 0.866 containment F1. Expect trimmed or extended boundaries.
  • The label set is closed. An unsupported identifier will not receive its own label.
  • Hospital templates, abbreviations, copied headers, and optical character recognition errors vary by site.
  • Synthetic and public benchmark data cannot establish performance on every patient population or production system.
  • Inputs designed to evade detection can still break the model.

License

MeddiesAI applies CC BY-NC 4.0 to the copyright and related rights it can license in this release. See LICENSE.

The underlying LiquidAI materials remain under LFM Open License v1.0. Upstream attribution and the MeddiesAI change record are preserved in NOTICE. Review both licenses before redistribution.

Feedback

Found a bad miss or a wrong boundary? Share the language, document type, expected span, predicted span, and whether optical character recognition was involved. Use a safe synthetic example. Never post real patient text or credentials in a public issue.

Open a thread in the Community tab or email contact@meddies.ai.

Collaboration

We are looking for hospitals, research groups, and privacy teams that can contribute de-identified failure cases, independent evaluations, or review in underrepresented languages. Email contact@meddies.ai to work with us.

Citation

@misc{meddies-pii-v2,
  title={Meddies PII v2 for multilingual clinical de-identification},
  author={MeddiesAI},
  year={2026},
  url={https://huggingface.co/Meddies/meddies-pii-v2}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
0e5361e

0 моделей