Характеристики

Контекст: 512 токенов
Параметры: 205 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

mbert-base-albanian-cased-ner

akdeniz27

Разметка токеновТекст → label

BERT-модель, дообученная для распознавания персон, организаций и мест в албанском тексте.

130скачиваний за 30 дней3лайкавеса обновлены18 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

akdeniz27/mbert-base-albanian-cased-ner — модель распознавания именованных сущностей на албанском языке, созданная дообучением bert-base-multilingual-cased на датасете WikiANN. Это плотная BERT-модель для классификации токенов с 205,1 млн параметров и контекстом до 512 токенов. Она размечает токены как PER, ORG и LOC, используя BIO-метки для персон, организаций и географических объектов.

Модель подходит для извлечения упоминаний людей, организаций и мест из албанского текста и может применяться в системах поиска, индексирования и предварительной разметки документов. Для объединения токенов в сущности в README предлагается использовать параметр aggregation_strategy. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT. Поскольку обучение выполнено на WikiANN, качество может зависеть от жанра текста и отличаться для данных вне обучающего распределения.

Сценарии применения

извлечение имён людей из албанских документов
поиск организаций в албанских новостях
распознавание географических названий в албанском тексте
предварительная разметка албанских текстов для NER
индексирование албанских документов по именованным сущностям

Ограничения

Модель размечает только категории PER, ORG и LOC. Качество на жанрах и типах текста, отличающихся от данных WikiANN, может быть ниже.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Albanian Named Entity Recognition (NER) Model

This model is the fine-tuned model of "bert-base-multilingual-cased" using the famous WikiANN dataset presented in the "Cross-lingual Name Tagging and Linking for 282 Languages" paper.

Fine-tuning parameters:

task = "ner"
model_checkpoint = "bert-base-multilingual-cased"
batch_size = 8 
label_list = ['O', 'B-PER', 'I-PER', 'B-ORG', 'I-ORG', 'B-LOC', 'I-LOC']
max_length = 512 
learning_rate = 2e-5 
num_train_epochs = 3 
weight_decay = 0.01

How to use:

model = AutoModelForTokenClassification.from_pretrained("akdeniz27/mbert-base-albanian-cased-ner")
tokenizer = AutoTokenizer.from_pretrained("akdeniz27/mbert-base-albanian-cased-ner")
ner = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="first")
ner("<your text here>")

Pls refer "https://huggingface.co/transformers/_modules/transformers/pipelines/token_classification.html" for entity grouping with aggregation_strategy parameter.

Reference test results:

accuracy: 0.9719268816143276
f1: 0.9192366826444787
precision: 0.9171629669734704
recall: 0.9213197969543148

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: f5eca5a