Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: xlm-roberta · dense
Опубликована: 21 мар 2023

Ссылки

Hugging Face

xlm-roberta-base-mapa_coarse-ner

dmargutierrez

Разметка токеновТекст → label6 профессий

Дообученная XLM-RoBERTa для извлечения именованных сущностей из текста на наборе LexTreme.

143скачиваний за 30 дней0лайковвеса обновлены21 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель dmargutierrez/xlm-roberta-base-mapa_coarse-ner — дообученная версия XLM-RoBERTa base для распознавания именованных сущностей на уровне токенов. Она обучена на наборе данных LexTreme и предназначена для извлечения сущностей из текста, в том числе в юридическом контексте. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и поддерживает контекст до 514 токенов.

На оценочном наборе указаны F1 0,664, точность 0,6624 и полнота 0,6657; accuracy 0,9872. Высокая accuracy при более умеренном F1 означает, что для практического применения полезно отдельно проверять качество по категориям сущностей. Лицензия — MIT. Карточка не уточняет список языков и метки сущностей.

Сценарии применения

извлечение именованных сущностей из юридических текстов
разметка токенов с сущностями в документах
поиск упоминаний организаций и других сущностей в тексте

Ограничения

На оценочном наборе F1 составляет 0,664, поэтому качество распознавания может быть недостаточным для задач с высокими требованиями к точности. Карточка не описывает категории сущностей и языки обучения.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xlm-roberta-base-mapa_coarse-ner

This model is a fine-tuned version of xlm-roberta-base on the lextreme dataset. It achieves the following results on the evaluation set:

Loss: 0.0515
Precision: 0.6624
Recall: 0.6657
F1: 0.6640
Accuracy: 0.9872

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0584	1.0	1739	0.0576	0.6088	0.5790	0.5935	0.9860
0.0475	2.0	3478	0.0522	0.6455	0.6574	0.6514	0.9870
0.0409	3.0	5217	0.0517	0.6490	0.6675	0.6581	0.9871
0.04	4.0	6956	0.0516	0.6562	0.6720	0.6640	0.9871
0.0422	5.0	8695	0.0513	0.6573	0.6722	0.6647	0.9871
0.0398	6.0	10434	0.0515	0.6602	0.6697	0.6649	0.9872
0.0407	7.0	12173	0.0516	0.6612	0.6663	0.6638	0.9872
0.0382	8.0	13912	0.0516	0.6626	0.6648	0.6637	0.9872
0.0398	9.0	15651	0.0515	0.6627	0.6660	0.6643	0.9872
0.0401	10.0	17390	0.0515	0.6624	0.6657	0.6640	0.9872

Framework versions

Transformers 4.26.0
Pytorch 1.13.1+cu117
Datasets 2.9.0
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: XLMRobertaForTokenClassification
Ревизия весов: 79a4e9c