Характеристики

Контекст: 1 024 токена
Лицензия: MIT
Архитектура: gpt2 · dense
Базовая модель: biogpt
Опубликована: 12 апр 2024

Ссылки

Hugging Face

biogpt-ner

ttlanhhh

Разметка токеновТекст → label3 профессии

Дообученная на базе BioGPT модель размечает токены в биомедицинском тексте.

11скачиваний за 30 дней0лайковвеса обновлены13 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ttlanhhh/biogpt-ner — дообученная модель Microsoft BioGPT для классификации токенов, предназначенная для разметки сущностей в биомедицинском тексте. Она основана на архитектуре GPT-2 и принимает текст, выдавая метки для токенов. Контекст модели составляет 1024 токена. В README приведены результаты оценки: F1 0,5070, точность 0,4664, полнота 0,5553 и accuracy 0,9572; набор меток и данные обучения не описаны. Модель распространяется по лицензии MIT.

Сценарии применения

разметка биомедицинских сущностей в тексте
извлечение упоминаний из биомедицинских публикаций
предварительная разметка медицинских документов для проверки специалистом

Ограничения

В README не указаны обучающий набор данных и используемые метки. На оценочной выборке F1 составляет 0,5070, поэтому результаты разметки требуют проверки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

biogpt-ner

This model is a fine-tuned version of microsoft/biogpt on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.1892
Overall Precision: 0.4664
Overall Recall: 0.5553
Overall F1: 0.5070
Overall Accuracy: 0.9572

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.2307	1.0	1358	0.1703	0.3849	0.3888	0.3869	0.9497
0.1415	2.0	2716	0.1589	0.3761	0.5286	0.4395	0.9490
0.0932	3.0	4074	0.1515	0.4580	0.5197	0.4869	0.9560
0.0763	4.0	5432	0.1763	0.4885	0.5146	0.5012	0.9583
0.0586	5.0	6790	0.1892	0.4664	0.5553	0.5070	0.9572

Framework versions

Transformers 4.39.3
Pytorch 1.12.1+cu113
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2ForTokenClassification
Ревизия весов: aae7a8b