このモデルはcl-tohoku/bert-large-japanese-v2をファインチューニングして、固有表現抽出（NER）に用いれるようにしたものです。
このモデルはcl-tohoku/bert-large-japanese-v2を Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。
固有表現抽出（NER）タスクに用いることができます。
This model is fine-tuned model for Named-Entity-Recognition(NER) which is based on cl-tohoku/bert-large-japanese-v2
This model is fine-tuned by using Wikipedia dataset.
You could use this model for NER tasks.
モデルの精度 accuracy of model
全体：0.8620626488367833
| precision | recall | f1-score | support | |
|---|---|---|---|---|
| その他の組織名 | 0.80 | 0.78 | 0.79 | 238 |
| イベント名 | 0.82 | 0.88 | 0.85 | 215 |
| 人名 | 0.92 | 0.95 | 0.93 | 549 |
| 地名 | 0.90 | 0.89 | 0.89 | 446 |
| 政治的組織名 | 0.86 | 0.91 | 0.89 | 263 |
| 施設名 | 0.86 | 0.91 | 0.88 | 241 |
| 法人名 | 0.88 | 0.89 | 0.88 | 487 |
| 製品名 | 0.62 | 0.68 | 0.65 | 252 |
| micro avg | 0.85 | 0.87 | 0.86 | 2691 |
| macro avg | 0.83 | 0.86 | 0.85 | 2691 |
| weighted avg | 0.85 | 0.87 | 0.86 | 2691 |
How to use 使い方
fugashiとtransformers,unidic_liteをインストールして (pip install fugashi, pip install unidic_lite, pip install transformers) 以下のコードを実行することで、NERタスクを解かせることができます。 please execute this code.
from transformers import AutoTokenizer,pipeline, AutoModelForTokenClassification
tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/bert-large-japanese-v2-finetuned-ner')
model=AutoModelForTokenClassification.from_pretrained('Mizuiro-sakura/bert-large-japanese-v2-finetuned-ner') # 学習済みモデルの読み込み
text=('昨日は東京で買い物をした')
ner=pipeline('ner', model=model, tokenizer=tokenizer)
result=ner(text)
print(result)