Характеристики

Контекст: 512 токенов
Параметры: 306 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

mDeBERTa-v3-base-turkish-ner

akdeniz27

Разметка токеновТекст → label7 профессий

Модель на базе mDeBERTa-v3-base извлекает из турецкого текста имена людей, организаций и географические названия.

80скачиваний за 30 дней1лайквеса обновлены18 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

akdeniz27 выпустил модель распознавания именованных сущностей на турецком языке. Это дообученная для NER модель microsoft/mDeBERTa-v3-base на проверенной версии известного набора данных для турецкого NER; архитектура — DeBERTa V2 для классификации токенов, около 306 млн параметров. Модель принимает текст и размечает в нём персон, организации и географические названия.

Модель подходит для извлечения сущностей из турецких текстов, например для подготовки данных к поиску, аналитике или последующей обработке документов. Максимальная длина последовательности — 512 токенов. Опубликованные веса доступны в форматах PyTorch и Safetensors по лицензии MIT.

Сценарии применения

извлечение имён людей из турецких текстов
поиск названий организаций в турецких документах
распознавание географических названий на турецком языке

Ограничения

Модель размечает только персоны, организации и географические названия; максимальная длина входной последовательности составляет 512 токенов.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Turkish Named Entity Recognition (NER) Model

This model is the fine-tuned version of "microsoft/mDeBERTa-v3-base" (a multilingual version of DeBERTa V3) using a reviewed version of well known Turkish NER dataset (https://github.com/stefan-it/turkish-bert/files/4558187/nerdata.txt).

Fine-tuning parameters:

task = "ner"
model_checkpoint = "microsoft/mdeberta-v3-base"
batch_size = 8 
label_list = ['O', 'B-PER', 'I-PER', 'B-ORG', 'I-ORG', 'B-LOC', 'I-LOC']
max_length = 512 
learning_rate = 2e-5 
num_train_epochs = 2 
weight_decay = 0.01

How to use:

model = AutoModelForTokenClassification.from_pretrained("akdeniz27/mDeBERTa-v3-base-turkish-ner")
tokenizer = AutoTokenizer.from_pretrained("akdeniz27/mDeBERTa-v3-base-turkish-ner")
ner = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="simple")
ner("<your text here>")

Pls refer "https://huggingface.co/transformers/_modules/transformers/pipelines/token_classification.html" for entity grouping with aggregation_strategy parameter.

Reference test results:

f1: 0.95
precision: 0.94
recall: 0.96

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForTokenClassification
Ревизия весов: eaa7941