Характеристики

Контекст: 512 токенов
Архитектура: distilbert · dense

Ссылки

Hugging Face

distilbert-fa-zwnj-base-ner

HooshvareLab

Разметка токеновТекст → label7 профессий

Дообученная модель DistilBERT для извлечения десяти типов именованных сущностей из персидского текста.

48скачиваний за 30 дней4лайкавеса обновлены21 мар 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HooshvareLab/distilbert-fa-zwnj-base-ner — модель DistilBERT, дообученная для распознавания именованных сущностей в персидском тексте. Она размечает токены как даты, события, объекты инфраструктуры, местоположения, денежные суммы, организации, проценты, имена людей, продукты и время. Обучающий набор объединяет данные ARMAN, PEYMA и WikiANN.

Модель предназначена для извлечения сущностей из персидских документов и текстов, например для последующей индексации или анализа. Контекст составляет до 512 токенов; доступны веса в форматах PyTorch и TensorFlow. В указанной оценке на тестовой выборке общий F1 составляет около 0,951, при этом качество различается по типам сущностей.

Карточка не сообщает лицензию, поэтому условия использования определить по имеющимся данным нельзя. Результаты зависят от типа текста и могут быть слабее для сущностей, представленных в обучении ограниченно; модель размечает последовательности токенов, а не генерирует ответы.

Сценарии применения

извлечение имён людей и организаций из персидских документов
поиск дат, времени и событий в персидских текстах
выделение местоположений и объектов инфраструктуры
извлечение сумм денег и процентов из текста
разметка сущностей для индексирования персидских документов

Ограничения

Качество зависит от типа текста и категории сущности; приведённый общий F1 не отражает одинаковую точность для всех классов. Модель ограничена контекстом в 512 токенов и предназначена для разметки токенов, а не генерации ответов.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DistilbertNER

This model fine-tuned for the Named Entity Recognition (NER) task on a mixed NER dataset collected from ARMAN, PEYMA, and WikiANN that covered ten types of entities:

Date (DAT)
Event (EVE)
Facility (FAC)
Location (LOC)
Money (MON)
Organization (ORG)
Percent (PCT)
Person (PER)
Product (PRO)
Time (TIM)

Dataset Information

	Records	B-DAT	B-EVE	B-FAC	B-LOC	B-MON	B-ORG	B-PCT	B-PER	B-PRO	B-TIM	I-DAT	I-EVE	I-FAC	I-LOC	I-MON	I-ORG	I-PCT	I-PER	I-PRO	I-TIM
Train	29133	1423	1487	1400	13919	417	15926	355	12347	1855	150	1947	5018	2421	4118	1059	19579	573	7699	1914	332
Valid	5142	267	253	250	2362	100	2651	64	2173	317	19	373	799	387	717	270	3260	101	1382	303	35
Test	6049	407	256	248	2886	98	3216	94	2646	318	43	568	888	408	858	263	3967	141	1707	296	78

Evaluation

The following tables summarize the scores obtained by model overall and per each class.

Overall

Model	accuracy	precision	recall	f1
Distilbert	0.994534	0.946326	0.95504	0.950663

Per entities

	number	precision	recall	f1
DAT	407	0.812048	0.828010	0.819951
EVE	256	0.955056	0.996094	0.975143
FAC	248	0.972549	1.000000	0.986083
LOC	2884	0.968403	0.967060	0.967731
MON	98	0.925532	0.887755	0.906250
ORG	3216	0.932095	0.951803	0.941846
PCT	94	0.936842	0.946809	0.941799
PER	2645	0.959818	0.957278	0.958546
PRO	318	0.963526	0.996855	0.979907
TIM	43	0.760870	0.813953	0.786517

How To Use

You use this model with Transformers pipeline for NER.

Installing requirements

pip install transformers

How to predict using pipeline

from transformers import AutoTokenizer
from transformers import AutoModelForTokenClassification  # for pytorch
from transformers import TFAutoModelForTokenClassification  # for tensorflow
from transformers import pipeline


model_name_or_path = "HooshvareLab/distilbert-fa-zwnj-base-ner" 
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForTokenClassification.from_pretrained(model_name_or_path)  # Pytorch
# model = TFAutoModelForTokenClassification.from_pretrained(model_name_or_path)  # Tensorflow

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "در سال ۲۰۱۳ درگذشت و آندرتیکر و کین برای او مراسم یادبود گرفتند."

ner_results = nlp(example)
print(ner_results)

Questions?

Post a Github issue on the ParsNER Issues repo.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForTokenClassification
Ревизия весов: 36ccd9a