Характеристики

Контекст: 512 токенов
Параметры: 20,4 млн
Архитектура: electra · dense
Опубликована: 9 сен 2022

Ссылки

Hugging Face

electramed-small-deid2014-ner-v3

chintagunta85

Разметка токеновТекст → label3 профессии

Дообученная ELECTRA-модель для распознавания сущностей и деидентификации медицинских текстов на наборе i2b22014.

22скачиваний за 30 дней0лайковвеса обновлены9 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

electramed-small-deid2014-ner-v3 — дообученная модель семейства ELECTRA, разработанная на базе giacomomiolo/electramed_small_scivocab и обученная на наборе i2b22014 для распознавания именованных сущностей в медицинских текстах. Она классифицирует токены и предназначена для задач деидентификации клинических записей.

Модель содержит 20,4 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки токенов. В оценке на тестовой выборке i2b22014 достигла F1 0,7861, точности 0,7776 и полноты 0,7947; это указывает на возможные пропуски и ошибочную разметку сущностей. Опубликована в формате PyTorch под лицензией, указанной в метаданных Hugging Face.

Сценарии применения

поиск идентифицирующих сущностей в клинических записях
подготовка медицинских документов к деидентификации
разметка токенов в медицинских текстах
оценка и отбор клинических записей для последующей анонимизации

Ограничения

На оценочной выборке F1 составляет 0,7861, поэтому модель может пропускать сущности или ошибочно их размечать; результаты README не уточняют перечень классов. Ограничение контекста — 512 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

electramed-small-deid2014-ner-v3

This model is a fine-tuned version of giacomomiolo/electramed_small_scivocab on the i2b22014 dataset. It achieves the following results on the evaluation set:

Loss: 0.0354
Precision: 0.7776
Recall: 0.7947
F1: 0.7861
Accuracy: 0.9909

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0125	1.0	1838	0.1338	0.3514	0.3812	0.3657	0.9715
0.0032	2.0	3676	0.0856	0.4444	0.5156	0.4774	0.9778
0.0012	3.0	5514	0.0678	0.5222	0.5994	0.5581	0.9819
0.0006	4.0	7352	0.0547	0.6900	0.7025	0.6962	0.9865
0.018	5.0	9190	0.0466	0.7227	0.7468	0.7345	0.9881
0.0002	6.0	11028	0.0419	0.7396	0.7664	0.7528	0.9891
0.0002	7.0	12866	0.0390	0.7730	0.7693	0.7712	0.9901
0.0002	8.0	14704	0.0368	0.7778	0.7822	0.7800	0.9906
0.0001	9.0	16542	0.0359	0.7765	0.7898	0.7831	0.9907
0.0001	10.0	18380	0.0354	0.7776	0.7947	0.7861	0.9909

Framework versions

Transformers 4.21.3
Pytorch 1.12.1+cu113
Datasets 2.4.0
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: ElectraForTokenClassification
Ревизия весов: c1362c8