Характеристики

Контекст: 512 токенов
Параметры: 205 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

codeswitch-hineng-pos-lince

sagorsarker

Разметка токеновТекст → label

BERT-модель для разметки частей речи в смешанных текстах на хинди и английском с переключением языков.

100скачиваний за 30 дней1лайквеса обновлены19 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

codeswitch-hineng-pos-lince — модель на архитектуре BERT для разметки частей речи в смешанных текстах на хинди и английском. Она обучена для задачи Part-of-Speech Tagging на данных LinCE и предназначена для анализа предложений, в которых используются оба языка, в том числе с переключением между ними. Модель содержит 205,1 млн параметров и поддерживает контекст до 512 токенов.

Модель решает задачу классификации токенов: каждому токену присваивается метка части речи. Доступны веса в форматах PyTorch, Safetensors и Flax. Лицензия — MIT. Карточка не описывает качество на отдельных наборах данных или поведение на текстах вне хинди-английского смешанного корпуса; применение к другим языковым парам не подтверждено.

Сценарии применения

разметка частей речи в предложениях на хинди и английском
анализ переключения между хинди и английским в сообщениях
подготовка лингвистической разметки для код-свитчинга
токенизация и POS-анализ смешанного текста на хинди и английском

Ограничения

Модель предназначена для смешанных текстов на хинди и английском; применимость к другим языкам и языковым парам не подтверждена. Карточка не приводит оценки качества модели.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

codeswitch-hineng-pos-lince

This is a pretrained model for Part of Speech Tagging of hindi-english code-mixed data used from LinCE

This model is trained for this below repository.

https://github.com/sagorbrur/codeswitch

To install codeswitch:

pip install codeswitch

Part-of-Speech Tagging of Hindi-English Mixed Data

Method-1


from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("sagorsarker/codeswitch-hineng-pos-lince")

model = AutoModelForTokenClassification.from_pretrained("sagorsarker/codeswitch-hineng-pos-lince")
pos_model = pipeline('ner', model=model, tokenizer=tokenizer)

pos_model("put any hindi english code-mixed sentence")

Method-2

from codeswitch.codeswitch import POS
pos = POS('hin-eng')
text = "" # your mixed sentence 
result = pos.tag(text)
print(result)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: f94f9af