haulai/mizo-ner-xlmr — модель распознавания именованных сущностей для языка мизо, разработанная автором репозитория и дообученная на FacebookAI/xlm-roberta-base. Она выполняет разметку токенов и выделяет сущности в тексте на мизо; модель можно использовать через pipeline token-classification в Transformers с объединением меток по сущностям. Веса содержат 305,2 млн параметров, базовая архитектура — XLM-RoBERTa, максимальный контекст — 514 токенов.

Модель обучена на корпусе из 441 178 предложений с серебряной разметкой. На серебряном тестовом наборе micro F1 составляет 0,8739, а на 300 предложениях с экспертной разметкой — 0,6078, поэтому результат на серебряных данных отражает согласие с проекционной разметкой, а не точность относительно человеческой оценки. Обучение проводилось только на предложениях, содержащих сущности; работа на текстах с редкими или отсутствующими сущностями не проверялась. Лицензия — CC BY 4.0.