Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 2 мар 2022

Ссылки

clinical-pubmed-bert-base-512

Заполнение пропусковТекст → текст3 профессии

Англоязычная BERT-модель, обученная на аннотациях PubMed и клинических записях MIMIC-III, для восстановления замаскированных токенов и адаптации к медицинским NLP-задачам.

49скачиваний за 30 дней5лайковвеса обновлены6 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Tsubasaz/clinical-pubmed-bert-base-512 — англоязычная модель BERT для предсказания замаскированных токенов. Она предварительно обучена на аннотациях PubMed и продолжила обучение на клинических записях из набора MIMIC-III; применено маскирование целых слов. Модель содержит 136,7 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов.

Модель предназначена для подготовки к клиническим и биомедицинским задачам обработки текста, например для адаптации к классификации клинических документов или прогнозированию повторной госпитализации. Лицензия MIT. Карточка описывает предварительное обучение, а не подтверждает качество на конкретных прикладных задачах; результаты для критически важных клинических решений следует проверять отдельно.

Сценарии применения

восстановление пропущенных слов в клинических записях
восстановление замаскированных терминов в аннотациях PubMed
дообучение для классификации клинических документов
подготовка модели для прогнозирования повторной госпитализации по медицинским записям

Ограничения

Контекст ограничен 512 токенами. Карточка не приводит метрик качества для downstream-задач и не подтверждает пригодность модели для клинических решений без отдельной проверки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ClinicalPubMedBERT

Description

A pre-trained model for clinical decision support, for more details, please see https://github.com/NtaylorOX/Public_Prompt_Mimic_III

A BERT model pre-trained on PubMed abstracts, and continual pre-trained on clinical notes (MIMIC-III). We try combining two domains that have fewer overlaps with general knowledge text corpora: EHRs and biomedical papers. We hope this model can serve better results on clinical-related downstream tasks such as readmissions.

This model is trained on 500000 clinical notes randomly sampled from MIMIC datasets, with 100k steps of training. We also used whole word masking to enhance the coherence of the language model. All notes are chunked into a length of 512 tokens.

Pre-trained model: https://huggingface.co/microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: e5a6434