Модель на основе mBERT извлекает имена людей, организации и географические названия из текстов на саха (якутском) языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Sakha NER — модель распознавания именованных сущностей для саха (якутского) языка, созданная на основе mBERT и дообученная для токенной классификации. Она размечает в тексте имена людей, организации и географические названия, присваивая токенам метки BIO.
Модель построена на архитектуре BERT и содержит 205,1 млн параметров. Максимальная длина контекста — 512 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.
В тестовых метриках общий F1 составляет 0,511; для местоположений — 0,614, персон — 0,507, организаций — 0,235. Результаты указывают на ограниченное качество, особенно при распознавании организаций; перед применением в реальных системах модель стоит оценить на целевых текстах.
Общий тестовый F1 равен 0,511, а F1 для организаций — 0,235, поэтому качество распознавания ограничено и особенно низко для организаций. Максимальная длина контекста составляет 512 токенов.
README от автора на Hugging Face, как он его опубликовал
mBERT-based NER model fine-tuned for Sakha (Yakut). Labels: ['O', 'B-PER', 'I-PER', 'B-ORG', 'I-ORG', 'B-LOC', 'I-LOC'].
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…