Характеристики

Контекст: 512 токенов
Параметры: 205 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 9 июн 2022

Ссылки

Hugging Face

NLP-CIC-WFU_Clinical_Cases_NER_Paragraph_Tokenized_mBERT_cased_fine_tuned

ajtamayoh

Разметка токеновТекст → label

Дообученная мультиязычная BERT-модель для разметки токенов и распознавания сущностей в клинических случаях.

73скачиваний за 30 дней7лайковвеса обновлены9 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель ajtamayoh/NLP-CIC-WFU_Clinical_Cases_NER_Paragraph_Tokenized_mBERT_cased_fine_tuned — дообученная версия bert-base-multilingual-cased для разметки токенов в клинических случаях. Она относится к архитектуре BERT и содержит 205,1 млн параметров; максимальная длина контекста — 512 токенов. Модель оценивается по Precision 0,8585, Recall 0,7101, F1 0,7773 и Accuracy 0,9893 на наборе оценки.

Модель предназначена для выделения именованных сущностей в текстах клинических случаев, представленных в абзацах с токенизацией. Мультиязычная базовая модель поддерживает несколько языков, однако язык и состав обучающих данных в карточке не описаны. Лицензия — Apache-2.0.

Сценарии применения

выделение именованных сущностей в клинических случаях
разметка токенов в медицинских абзацах
извлечение сущностей из клинических текстов

Ограничения

Карточка не описывает набор меток и обучающие данные; на оценочном наборе Recall составляет 0,7101, поэтому часть сущностей может быть пропущена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

NLP-CIC-WFU_Clinical_Cases_NER_Paragraph_Tokenized_mBERT_cased_fine_tuned

This model is a fine-tuned version of bert-base-multilingual-cased on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0537
Precision: 0.8585
Recall: 0.7101
F1: 0.7773
Accuracy: 0.9893

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 7

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0693	1.0	514	0.0416	0.9485	0.6492	0.7708	0.9884
0.0367	2.0	1028	0.0396	0.9391	0.6710	0.7827	0.9892
0.0283	3.0	1542	0.0385	0.9388	0.6889	0.7947	0.9899
0.0222	4.0	2056	0.0422	0.9456	0.6790	0.7904	0.9898
0.0182	5.0	2570	0.0457	0.9349	0.6925	0.7956	0.9901
0.013	6.0	3084	0.0484	0.8947	0.7062	0.7894	0.9899
0.0084	7.0	3598	0.0537	0.8585	0.7101	0.7773	0.9893

Framework versions

Transformers 4.19.2
Pytorch 1.11.0+cu113
Datasets 2.2.2
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: ed75ffc