Модель на основе SpanBERT для классификации медицинских текстов, обученная с использованием клинического метатезауруса UMLS.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
NitzanBar/umls-spanbert — модель классификации медицинского текста на основе SpanBERT, разработанная с использованием клинического метатезауруса UMLS. Согласно карточке, её обучили с нуля на данных MIMIC, применяя UMLS для маскирования слов, и сравнили с исходным вариантом BERT на задаче MedNLI: указана точность 86% против 83% у BERT.
Модель предназначена для классификации клинических текстов и может применяться для проверки выводов по медицинским записям, подобных задаче MedNLI. Это плотная BERT-архитектура с классификационной головой, 432,3 млн параметров и контекстом до 512 токенов. Карточка не сообщает поддерживаемые естественные языки.
Модель опубликована под лицензией Apache-2.0. Результат 86% относится к MedNLI; карточка не приводит протокол оценки, поэтому его нельзя напрямую переносить на другие медицинские задачи. Обучение на MIMIC также ограничивает основания для выводов о качестве на иных типах клинических данных.
В карточке приведена точность 86% на MedNLI, но не описаны протокол оценки и результаты на других наборах данных. Обучение на MIMIC не подтверждает качество на иных клинических текстах.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Based ob the paper: "UmlsBERT: Augmenting Contextual Embeddings with a Clinical Metathesaurus" (https://aclanthology.org/2021.naacl-main.139.pdf).
and the github repo: https://github.com/gmichalo/UmlsBERT
Changing base model to SpanBert instead of Bert.
Trained from scratch on MIMIC dataset, using the UMLS dataset to mask words within the text.
We achived better accuracy on MedNLI dataset.
Bert Model accuracy: 83%
SpanBert Model accuracy: 86%
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…