Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: task-t1
Опубликована: 21 июл 2024

Ссылки

task-t2

Разметка токеновТекст → label

Дообученная BERT-модель для разметки медицинских упоминаний о хронических заболеваниях, раке, аллергиях и лечении в тексте.

8скачиваний за 30 дней0лайковвеса обновлены21 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KpRT/task-t2 — модель семейства BERT для классификации токенов, дообученная на основе KpRT/task-t1. Она предназначена для извлечения из текста упоминаний хронических заболеваний, рака, аллергий и лечения. В оценке на наборе данных, названном в карточке None, общий F1 составил 0,7591; F1 по хроническим заболеваниям — 0,7643, по раку — 0,6815, по аллергиям — 0,7304, по лечению — 0,7803.

Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Лицензия — Apache-2.0. В README не приведены сведения о языках, составе обучающих данных и ограничениях; результаты на категории Other отсутствуют, поскольку в оценочной выборке для неё указано 0 примеров.

Сценарии применения

извлечение упоминаний хронических заболеваний из текста
поиск упоминаний рака в медицинских записях
выделение аллергий в текстовых документах
извлечение упоминаний лечения и терапии
токенная разметка медицинских текстов

Ограничения

Общий F1 на оценочной выборке составляет 0,7591; качество различается по категориям, а для Other метрика не рассчитана из-за отсутствия примеров. Языки и состав обучающих данных в карточке не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

task-t2

This model is a fine-tuned version of KpRT/task-t1 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.3666
F1: 0.7591
Chronic Disease F1: 0.7643
Chronic Disease Num: 2090
Cancer F1: 0.6815
Cancer Num: 896
Allergy F1: 0.7304
Allergy Num: 200
Treatment F1: 0.7803
Treatment Num: 3185
Other F1: 0
Other Num: 0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	F1	Chronic Disease F1	Chronic Disease Num	Cancer F1	Cancer Num	Allergy F1	Allergy Num	Treatment F1	Treatment Num
0.4565	0.3049	100	0.4226	0.7177	0.7053	2090	0.6397	896	0.6633	200	0.7524	3185
0.4055	0.6098	200	0.3888	0.7396	0.7399	2090	0.6684	896	0.5989	200	0.7673	3185
0.4327	0.9146	300	0.3818	0.7441	0.7441	2090	0.6614	896	0.7506	200	0.7684	3185
0.3348	1.2195	400	0.3783	0.7518	0.7459	2090	0.6825	896	0.7032	200	0.7778	3185
0.3207	1.5244	500	0.3701	0.7597	0.7619	2090	0.6830	896	0.7457	200	0.7825	3185
0.3224	1.8293	600	0.3666	0.7591	0.7643	2090	0.6815	896	0.7304	200	0.7803	3185

Framework versions

Transformers 4.42.4
Pytorch 2.3.1+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: 664e795