Характеристики

Контекст: 514 токенов
Параметры: 454 млн
Лицензия: CC BY-SA 4.0
Архитектура: roberta · dense
Опубликована: 17 фев 2023

Ссылки

Hugging Face

roberta-large-finetuned-abbr-filtered-plod

surrey-nlp

Разметка токеновТекст → label7 профессий

Дообученная RoBERTa-large размечает в англоязычном тексте сокращения и их полные формы.

16скачиваний за 30 дней1лайквеса обновлены28 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Surrey NLP — дообученная версия RoBERTa-large для обнаружения сокращений и соответствующих им полных форм в тексте. Она выполняет разметку токенов и предназначена для извлечения сокращений и их расшифровок из англоязычных документов. На тестовом наборе PLODv2 filtered модель получила F1 0,9208 для сокращений и 0,9108 для полных форм. Модель содержит 454,1 млн параметров, использует формат PyTorch и принимает контекст до 514 токенов. Опубликована вместе с работой для LREC-COLING 2024; лицензия — CC BY-SA 4.0.

Сценарии применения

поиск сокращений в англоязычных документах
извлечение расшифровок сокращений из текста
автоматическая разметка сокращений и полных форм по токенам

Ограничения

В README не приведены сведения об ограничениях модели или обучающих данных, кроме указания на PLODv2 filtered.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roberta-large-finetuned-abbr-filtered-plod

This model is a fine-tuned version of the roberta-large on the PLODv2 filtered dataset. It is released with our LREC-COLING 2024 publication Using character-level models for efficient abbreviation and long-form detection. It achieves the following results on the test set:

Results on abbreviations:

Precision: 0.9073
Recall: 0.9348
F1: 0.9208

Results on long forms:

Precision: 0.8908
Recall: 0.9318
F1: 0.9108

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 6

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.1169	0.25	7000	0.1114	0.9639	0.9581	0.9610	0.9575
0.1171	0.5	14000	0.1150	0.9655	0.9534	0.9594	0.9554
0.1202	0.75	21000	0.1058	0.9644	0.9578	0.9611	0.9575
0.1105	0.99	28000	0.1098	0.9664	0.9549	0.9606	0.9566
0.0935	1.24	35000	0.1270	0.9643	0.9570	0.9606	0.9570
0.0999	1.49	42000	0.1112	0.9626	0.9605	0.9615	0.9580
0.0948	1.74	49000	0.1114	0.9670	0.9606	0.9638	0.9603
0.1015	1.99	56000	0.1146	0.9680	0.9589	0.9634	0.9597
0.0816	2.24	63000	0.1244	0.9670	0.9607	0.9638	0.9603
0.0855	2.49	70000	0.1107	0.9675	0.9623	0.9649	0.9614
0.0814	2.73	77000	0.1047	0.9661	0.9630	0.9645	0.9611
0.0827	2.98	84000	0.1082	0.9665	0.9631	0.9648	0.9614
0.0655	3.23	91000	0.1485	0.9690	0.9615	0.9653	0.9618
0.0631	3.48	98000	0.1314	0.9683	0.9639	0.9661	0.9627
0.0667	3.73	105000	0.1164	0.9683	0.9643	0.9663	0.9629
0.0652	3.98	112000	0.1297	0.9681	0.9653	0.9667	0.9633
0.0485	4.23	119000	0.1441	0.9697	0.9645	0.9671	0.9636
0.0505	4.47	126000	0.1350	0.9700	0.9651	0.9675	0.9642
0.0498	4.72	133000	0.1243	0.9691	0.9657	0.9674	0.9640
0.0463	4.97	140000	0.1392	0.9699	0.9660	0.9679	0.9645
0.0371	5.22	147000	0.1527	0.9709	0.9658	0.9683	0.9649
0.0363	5.47	154000	0.1490	0.9703	0.9667	0.9685	0.9651
0.0341	5.72	161000	0.1538	0.9712	0.9666	0.9689	0.9656
0.0338	5.97	168000	0.1488	0.9705	0.9668	0.9687	0.9653

Framework versions

Transformers 4.16.2
Pytorch 1.11.0
Datasets 2.1.0
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForTokenClassification
Ревизия весов: cf850dc