/ Модель

Характеристики

Контекст
131 072 токена
Параметры
145 млн
Размер весов
2,8 ГБ
Лицензия
Apache 2.0
Архитектура
openai_privacy_filter · MoE
Базовая модель
privacy-filter-multilingual-v2
Библиотека
transformers
Опубликована
18 сен 2026

privacy-filter-gbai

Разметка токеновТекст → label3 профессии

Модель размечает персональные данные в испанских клинических и других текстах для последующего извлечения и деидентификации.

250скачиваний за 30 дней0лайковвеса обновлены18 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Privacy Filter ES M1 — модель для выявления и разметки персональных данных в испанском тексте. Она разработана на основе OpenMed/privacy-filter-multilingual-v2: неизменённый трансформерный MoE-бэкбон с токенизатором и 1,4 млрд параметров использует дообученную классификационную голову Linear(640→217); всего в репозитории указано 145,4 млн параметров. Модель принимает текст и присваивает токенам метки BIOES для последующего извлечения чувствительных фрагментов.

Модель ориентирована на деидентификацию испанских клинических документов и может применяться для поиска персональных данных в других испаноязычных текстах, включая юридические документы. Голова обучалась с замороженным бэкбоном на примерах MEDDOCAN и синтетических данных; README приводит результаты оценки на клиническом наборе MEDDOCAN, небольшом юридическом наборе и английском наборе вне распределения. Для декодирования с ограничениями BIOES/Viterbi предлагается использовать runtime OpenMed.

Это исследовательский прототип, а не гарантия полного обезличивания или соблюдения законодательства: возможны пропуски, ложные срабатывания и ошибки границ или категорий фрагментов. После адаптации к испанскому немного снизился символьный F1 на английском наборе вне распределения; для важных сценариев нужны проверка на целевых данных и экспертный контроль. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • поиск персональных данных в испанских медицинских записях
  • разметка чувствительных фрагментов в клинических документах
  • подготовка испанских текстов к обезличиванию
  • поиск персональных данных в испанских юридических документах

Ограничения

Модель может пропускать персональные данные, давать ложные срабатывания и ошибаться в границах или категориях фрагментов; после адаптации к испанскому немного снизился символьный F1 на английском наборе вне распределения. Для важных сценариев необходимы оценка на целевых данных и проверка человеком.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Privacy Filter ES M1

Spanish-focused PII token classifier derived from OpenMed/privacy-filter-multilingual-v2. The 1.4B-parameter backbone and tokenizer are unchanged. Only the final Linear(640 -> 217) BIOES classification head (139,097 parameters) was trained.

Training

  • Method: frozen-backbone, head-only supervised fine-tuning in FP32.
  • Train: 7,168 Spanish snippets (3,009 from MEDDOCAN train and 4,159 owned synthetic examples).
  • Validation: 2,762 Spanish snippets (1,762 from MEDDOCAN dev and 1,000 owned synthetic examples).
  • One epoch, batch size 16, learning rate 1e-4, seed 1701.
  • Exact train/validation text overlap: zero after deduplication and quarantine.
  • MEDDOCAN test, MAPA/EUR-Lex and the English OOD set were evaluation-only.

The small trained head is also included as m1_head.safetensors; the standard model shards contain that head already merged into the base checkpoint.

Evaluation

All results use whitespace-preserving tokenization and constrained BIOES/Viterbi decoding. F1 values below are exact-span untyped / character-level detection.

Evaluation setDocumentsM0M1
MEDDOCAN official test (Spanish clinical)2500.447 / 0.7550.508 / 0.796
Independent English OOD1,2010.501 / 0.7900.531 / 0.777
MAPA/EUR-Lex Spanish legal diagnostic20.265 / 0.3200.492 / 0.631

The MAPA result is only a small diagnostic because the published Spanish subset contains two long documents. It was not used for training M1.

Usage

Install OpenMed's Hugging Face dependencies, then use its privacy-filter runtime so predictions are decoded with the model's BIOES/Viterbi constraints:

from openmed import extract_pii

result = extract_pii(
    "Contacte con Ana López en ana.lopez@example.es",
    model_name="angel-gitt/privacy-filter-gbai",
)
for entity in result.entities:
    print(entity.label, entity.text, entity.confidence)

Limitations

This is a research prototype, not a guarantee of complete anonymization or legal compliance. It can miss PII, produce false positives, and infer incorrect span boundaries or categories. The English character-level F1 decreased slightly after Spanish adaptation. High-stakes use requires deterministic checks, a domain-specific held-out evaluation set and human review.

License and attribution

Released under Apache 2.0, following the upstream model. Cite and attribute OpenMed, OpenAI Privacy Filter, MEDDOCAN and the relevant upstream datasets as described in their respective model and dataset cards.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
OpenAIPrivacyFilterForTokenClassification
Ревизия весов
95968f1

0 моделей