Характеристики

Контекст: 512 токенов
Параметры: 129 млн
Архитектура: bert · dense
Опубликована: 18 окт 2023

Ссылки

Hugging Face

bert-base-chinese-finetuned-ner

gyr66

Разметка токеновТекст → label5 профессий

BERT-модель для поиска и разметки приватных данных в китайском тексте.

369скачиваний за 30 дней8лайковвеса обновлены18 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель gyr66/bert-base-chinese-finetuned-ner — дообученная версия Danielwei0214/bert-base-chinese-finetuned-ner, разработанная для обнаружения приватных данных в китайском тексте. Она выполняет классификацию токенов на основе BERT и обучена на наборе gyr66/privacy_detection. Модель содержит 129,5 млн параметров, принимает последовательности длиной до 512 токенов и предназначена для извлечения и разметки фрагментов, содержащих чувствительную информацию.

На оценочном наборе модель показала F1 0,6947, точность 0,6532 и полноту 0,7417. Эти результаты относятся к указанному набору данных и могут не переноситься на другие типы текста. Модель распространяется в формате PyTorch; сведения о лицензии в предоставленных источниках отсутствуют.

Сценарии применения

обнаружение чувствительных данных в китайских текстах
разметка токенов с персональной или приватной информацией
проверка китайских текстовых данных перед публикацией
выделение приватных фрагментов для последующей обработки

Ограничения

На оценочном наборе F1 составил 0,6947, поэтому модель может пропускать чувствительные фрагменты или ошибочно помечать токены. Оценки получены на gyr66/privacy_detection и могут не отражать качество на других данных.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Также подходит для

II.10Разработка и эксплуатация AI/ML-систем

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-chinese-finetuned-ner

This model is a fine-tuned version of Danielwei0214/bert-base-chinese-finetuned-ner on the gyr66/privacy_detection dataset. It achieves the following results on the evaluation set:

Loss: 0.7929
Precision: 0.6532
Recall: 0.7417
F1: 0.6947
Accuracy: 0.9052

Model description

The model is used for competition: "https://www.datafountain.cn/competitions/472"

Training and evaluation data

The training and evaluation data is from gyr66/privacy_detection dataset.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 56
eval_batch_size: 56
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear

Framework versions

Transformers 4.27.3
Pytorch 2.0.1+cu117
Datasets 2.14.5
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: 42abc08