/ Модель

Характеристики

Контекст
512 токенов
Параметры
138 млн
Архитектура
bert · dense

telugu_bertu_pos

Разметка токеновТекст → label3 профессии

BERT-модель для определения частей речи в тексте на телугу с разметкой каждого токена.

258скачиваний за 30 дней0лайковвеса обновлены2 дек 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

kuppuluri/telugu_bertu_pos — модель BERT для разметки последовательностей на уровне токенов, предназначенная для определения частей речи в тексте на телугу. Модель содержит 137,8 млн параметров, имеет контекст до 512 токенов и доступна в форматах PyTorch и Flax.

Автор сообщает о результатах на тестовом наборе: F1 0,9984, точность 0,9984 и полнота 0,9983. Карточка предупреждает о проблемах с кодировкой телугу в веб-интерфейсе Hugging Face и рекомендует запускать инференс из Python. Сведения об обучающих данных и лицензии в доступных материалах не приведены.

Сценарии применения

  • определение частей речи в предложениях на телугу
  • токенная разметка текста на телугу для лингвистического анализа
  • подготовка корпуса телугу для языковых исследований

Ограничения

Авторские метрики приведены только для тестового набора, а сведения о его составе и обучающих данных отсутствуют. Веб-интерфейс Hugging Face может некорректно обрабатывать кодировку телугу; лицензия не указана в доступных материалах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Part of Speech tagging Model for Telugu

How to use

Use the below script from your python terminal as the web interface for inference has few encoding issues for Telugu

PS: If you find my model useful, I would appreciate a note from you as it would encourage me to continue improving it and also add new models.

from simpletransformers.ner import NERModel
model = NERModel('bert',
                 'kuppuluri/telugu_bertu_pos',
                 args={"use_multiprocessing": False},
                 labels=[
                     'QC', 'JJ', 'NN', 'QF', 'RDP', 'O',
                     'NNO', 'PRP', 'RP', 'VM', 'WQ',
                     'PSP', 'UT', 'CC', 'INTF', 'SYMP',
                     'NNP', 'INJ', 'SYM', 'CL', 'QO',
                     'DEM', 'RB', 'NST', ],
                 use_cuda=False)

text = "విరాట్ కోహ్లీ కూడా అదే నిర్లక్ష్యాన్ని ప్రదర్శించి కేవలం ఒక పరుగుకే రనౌటై పెవిలియన్ చేరాడు ."
results = model.predict([text])

Training data

Training data is from https://github.com/anikethjr/NER_Telugu

Eval results

On the test set my results were

eval_loss = 0.0036797842364565416

f1_score = 0.9983795127912227

precision = 0.9984325602401637

recall = 0.9983264709788816

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForTokenClassification
Ревизия весов
6013732

0 моделей