Модель на базе mBERT для распознавания именованных сущностей в бенгальском тексте.
154скачиваний за 30 дней3лайкавеса обновлены19 мар 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
mBERT-Bengali-NER — модель распознавания именованных сущностей в бенгальском тексте, разработанная Sagor Sarker на основе bert-base-multilingual-uncased и обученная на датасете WikiAnn. Это трансформер BERT с архитектурой BertForTokenClassification, рассчитанный на классификацию каждого токена; контекст модели составляет 512 токенов, размер — около 194,6 млн параметров. В опубликованной оценке указаны F1 0,971, точность 0,968, полнота 0,974 и accuracy 0,977.
Модель подходит для извлечения имён людей и других размеченных сущностей из бенгальских текстов, например для последующего индексирования или анализа документов. Карточка показывает метки PER, а полный набор меток в предоставленном фрагменте приведён не полностью. Для использования нужны Transformers и PyTorch; веса доступны в форматах PyTorch и Safetensors. Лицензия — MIT.
Сценарии применения
извлечение имён людей из бенгальских документов
разметка токенов бенгальского текста по типам сущностей
подготовка бенгальских текстов к поисковой индексации
извлечение сущностей из новостных и веб-текстов на бенгальском
Ограничения
Рассчитана на бенгальский язык и ограничена контекстом в 512 токенов. В предоставленном фрагменте карточки показана только метка PER, поэтому полный набор предсказываемых типов сущностей установить нельзя.
Для каких профессий подходит7
Разделы каталога профессий, в задачах которых используется эта модель
from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("sagorsarker/mbert-bengali-ner")
model = AutoModelForTokenClassification.from_pretrained("sagorsarker/mbert-bengali-ner")
nlp = pipeline("ner", model=model, tokenizer=tokenizer, grouped_entities=True)
example = "আমি জাহিদ এবং আমি ঢাকায় বাস করি।"
ner_results = nlp(example)
print(ner_results)