Характеристики

Лицензия: Apache 2.0
Опубликована: 24 июл 2026

Ссылки

Hugging Face

pii-tool-bundle

lianghsun

Разметка токеновТекст → label

Пакет для офлайн-обезличивания персональных данных в текстах на тайваньском китайском с запуском на CPU или CUDA GPU.

0скачиваний за 30 дней0лайковвеса обновлены29 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

lianghsun/pii-tool-bundle — это пакет для локального развертывания дообученной модели openai/privacy-filter, адаптированной для выявления и обезличивания персональных данных на тайваньском китайском языке. Пакет включает чекпойнт v3 в формате OPF-native, Docker-образы для CPU и CUDA GPU и скрипты запуска; обработка может выполняться офлайн.

Модель предназначена для рекурсивной обработки текстовых файлов .txt и создания рядом с каждым исходным файлом замаскированной версии с суффиксом _masked.txt. Доступна настройка размера фрагментов текста и перекрытия между ними. Репозиторий требует доступа, который владелец выдает вручную, а лицензия — Apache-2.0.

Сценарии применения

маскирование персональных данных в текстовых файлах на тайваньском китайском
пакетная обработка папок с документами .txt
офлайн-фильтрация PII на локальном сервере
подготовка текстов к передаче или аналитической обработке с удалением PII

Ограничения

Пакет рассчитан на обработку файлов .txt; качество обнаружения и маскирования зависит от данных и не описано в карточке. Для доступа к репозиторию требуется ручное одобрение владельца.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

privacy-filter-tw — 部署 bundle

Fine-tuned openai/privacy-filter 用於台灣 PII 去識別化的完整部署包。含權重 + Docker images + 執行腳本，可離線在 CPU 或 CUDA GPU 上跑。

受管控 Repo（Manual Review）：申請存取後由 owner 手動核准。

內容

檔案	大小	說明
`model/`	2.6 GB	v3 fine-tuned checkpoint (OPF-native format)
`ntts_cpu_amd64.tar`	320 MB	Docker image (CPU-only, python:3.11-slim + torch cpu)
`ntts_cuda_amd64.tar`	4.0 GB	Docker image (pytorch/pytorch:2.7.0-cuda12.8-cudnn9)
`notes-scratch-2026/`		工具 code：main.py, runtime.py, chunker.py, Dockerfiles
`debs/`		python3-venv + 7zip .deb (Ubuntu 22.04/24.04) 供離線裝
`RUN.sh`		一鍵執行腳本（自動偵測 CPU/GPU）
`pii_categories.md`		19 類 PII 定義與準確度分佈

快速開始（Ubuntu 機器）

# 假設下載後放到 /home/ubuntu/pii_tool/
cd /home/ubuntu/pii_tool

# 載入 Docker image (擇一)
sudo docker load -i ntts_cuda_amd64.tar   # GPU
# 或
sudo docker load -i ntts_cpu_amd64.tar    # CPU

# 準備輸入資料在 /home/ubuntu/YOUR_INPUT_DIR/ (遞迴掃描 *.txt)

# 跑
sudo docker run --rm --gpus all \
  -v /home/ubuntu/YOUR_INPUT_DIR:/data \
  -v $(pwd)/model:/model \
  ntts:cuda /data \
    --model-dir /model \
    --chunk-size 1000 \
    --overlap 200

輸出：每個 <name>.txt → 同資料夾產生 <name>_masked.txt

CLI 參數

Flag	Default	說明
`<input_dir>`	必填	遞迴掃描 `*.txt`
`--model-dir DIR`	(none)	本地 model 路徑（離網必用）
`--chunk-size N`	1000	Chunk 字元數
`--overlap N`	200	Chunk 重疊
`--no-propagate`	off	關閉全域 entity 傳播
`--gpus auto\|N\|0`	auto	多卡並行；0 強制 CPU

License

Apache 2.0（繼承自 openai/privacy-filter）。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: cd05e6e