/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Опубликована
13 мар 2022

hing-bert-lid

Разметка токеновТекст → label4 профессии

HingBERT-LID определяет, к хинди или английскому относится каждый токен в смешанном тексте на хинглиш.

358скачиваний за 30 дней1лайквеса обновлены20 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HingBERT-LID — модель на архитектуре BERT от L3Cube-Pune для определения языка отдельных токенов в текстах, где смешаны хинди и английский. Она дообучена на наборе L3Cube-HingLID и предназначена для анализа код-свитчинга, в том числе в корпусах хинглиш. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки классов для токенов. Поддерживает хинди и английский; опубликована в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0. Карточка не приводит количественных оценок качества.

Сценарии применения

  • разметка хинди- и англоязычных токенов в сообщениях на хинглиш
  • анализ переключения языков в социальных сетях
  • подготовка языковых меток для корпусов смешанной речи
  • фильтрация и сортировка код-свитчинговых текстов

Ограничения

Модель предназначена для определения языка токенов в смешанном тексте на хинди и английском; её пригодность для других языков и задач не подтверждена. Карточка не сообщает количественные показатели качества.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HingBERT-LID

HingBERT-LID is a Hindi-English code-mixed language identification BERT model. It is a HingBERT model fine-tuned on L3Cube-HingLID dataset. [dataset link] (https://github.com/l3cube-pune/code-mixed-nlp)

More details on the dataset, models, and baseline results can be found in our [paper] (https://arxiv.org/abs/2204.08398)

Other models from HingBERT family: HingBERT HingMBERT HingBERT-Mixed HingBERT-Mixed-v2 HingRoBERTa HingRoBERTa-Mixed HingGPT HingGPT-Devanagari HingBERT-LID

@inproceedings{nayak-joshi-2022-l3cube,
    title = "{L}3{C}ube-{H}ing{C}orpus and {H}ing{BERT}: A Code Mixed {H}indi-{E}nglish Dataset and {BERT} Language Models",
    author = "Nayak, Ravindra  and Joshi, Raviraj",
    booktitle = "Proceedings of the WILDRE-6 Workshop within the 13th Language Resources and Evaluation Conference",
    month = jun,
    year = "2022",
    address = "Marseille, France",
    publisher = "European Language Resources Association",
    url = "https://aclanthology.org/2022.wildre-1.2",
    pages = "7--12",
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForTokenClassification
Ревизия весов
e92bc73

0 моделей