Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased
Библиотека: transformers
Опубликована: 11 окт 2024

Ссылки

Hugging Face

distilbert-base-uncased-FT-ner-BC5CDR-disease

kbulutozler

Разметка токеновТекст → label3 профессии

Англоязычная модель DistilBERT для извлечения упоминаний заболеваний из текста.

88скачиваний за 30 дней0лайковвеса обновлены11 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

kbulutozler/distilbert-base-uncased-FT-ner-BC5CDR-disease — англоязычная модель DistilBERT, дообученная для распознавания заболеваний в тексте. Она размечает упоминания заболеваний на уровне токенов и предназначена для извлечения таких сущностей из научных и биомедицинских текстов. Модель обучена на обучающей части набора BC5CDR-disease из BLURB; для тестовой части указаны precision 0,76, recall 0,81 и micro-F1 0,79.

Модель использует архитектуру DistilBertForTokenClassification, принимает текст, имеет контекст до 512 токенов и распространяется по лицензии Apache-2.0. Карточка не сообщает об оценке на других наборах данных, поэтому качество на иных текстах может отличаться.

Сценарии применения

поиск названий заболеваний в биомедицинских статьях
автоматическая разметка упоминаний заболеваний на уровне токенов
извлечение заболеваний из научных аннотаций

Ограничения

Обучена на BC5CDR-disease; качество на других жанрах и предметных областях в карточке не оценено. По тестовой части указаны precision 0,76, recall 0,81 и micro-F1 0,79.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

Fine-tuned distilbert model. Trained on train set of BC5CDR-disease dataset taken from BLURB.

Model Details

Model Sources [optional]

Repository: https://github.com/kbulutozler/medical-llm-benchmark

Training Details

Training Data

Train set of BC5CDR-disease dataset.

Training Procedure

Classical fine-tuning.

Training Hyperparameters

Training regime: [More Information Needed]

learning_rate=5e-5 per_device_train_batch_size=16 per_device_eval_batch_size=16 num_train_epochs=3 weight_decay=0.01

Evaluation

Testing Data

Test set of BC5CDR-disease dataset.

Results

Precision: 0.76 Recall: 0.81 Micro-F1: 0.79

Environmental Impact

Hardware Type: 1xRTX A4000
Hours used: 00:07:00

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForTokenClassification
Ревизия весов: cc35b58