Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Опубликована: 21 июл 2024

Ссылки

Hugging Face

task-t1

KpRT

Разметка токеновТекст → label

Дообученная BERT-модель для выделения медицинских сущностей, включая заболевания, аллергии и методы лечения, в тексте.

8скачиваний за 30 дней0лайковвеса обновлены21 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KpRT/task-t1 — модель на основе BERT, дообученная авторами репозитория от bert-base-uncased для классификации токенов. По метрикам в карточке она размечает упоминания хронических заболеваний, рака, аллергий и методов лечения в тексте. Архитектура BertForTokenClassification содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и распространяется по лицензии Apache-2.0.

На оценочной выборке указаны общий F1 0,7293, F1 для хронических заболеваний 0,7306, рака 0,7151, аллергий 0,6551 и лечения 0,7365. Эти результаты предполагают применение для извлечения медицинских сущностей из текста, но карточка не описывает обучающий датасет и подробно не раскрывает предполагаемые сценарии использования. Модель не следует считать универсальным медицинским классификатором; качество на других данных может отличаться.

Сценарии применения

выделение хронических заболеваний из медицинских записей
поиск упоминаний рака в тексте
извлечение аллергий из медицинской документации
разметка методов лечения в тексте
автоматическая разметка медицинских сущностей по токенам

Ограничения

Карточка не сообщает, на каком датасете обучалась модель, а показатель F1 для категории Other равен 0 при нулевом числе примеров этой категории. Метрики приведены только для оценочной выборки и не гарантируют качество на других текстах.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

task-t1

This model is a fine-tuned version of bert-base-uncased on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.4146
F1: 0.7293
Chronic Disease F1: 0.7306
Chronic Disease Num: 2537
Cancer F1: 0.7151
Cancer Num: 880
Allergy F1: 0.6551
Allergy Num: 219
Treatment F1: 0.7365
Treatment Num: 3197
Other F1: 0
Other Num: 0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	F1	Chronic Disease F1	Chronic Disease Num	Cancer F1	Cancer Num	Allergy F1	Allergy Num	Treatment F1	Treatment Num
1.0109	0.2717	100	0.6744	0.4452	0.4017	2537	0.0448	880	0.0	219	0.5504	3197
0.5833	0.5435	200	0.4954	0.6268	0.6392	2537	0.5937	880	0.0	219	0.6459	3197
0.4668	0.8152	300	0.4519	0.6782	0.6951	2537	0.6396	880	0.0359	219	0.6962	3197
0.4275	1.0870	400	0.4314	0.7046	0.7102	2537	0.6883	880	0.5127	219	0.7138	3197
0.3483	1.3587	500	0.4282	0.7181	0.7212	2537	0.7078	880	0.6469	219	0.7226	3197
0.3334	1.6304	600	0.4126	0.7293	0.7313	2537	0.7170	880	0.6683	219	0.7349	3197
0.3249	1.9022	700	0.4146	0.7293	0.7306	2537	0.7151	880	0.6551	219	0.7365	3197

Framework versions

Transformers 4.42.4
Pytorch 2.3.1+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: 11a4aa8