/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
137 млн
Архитектура
bert · dense
Опубликована
3 мая 2022

Ссылки

Hugging Face

bluebert-pubmed-uncased-L-12-H-768-A-12_pub_section

ml4pubmed
Классификация текстаТекст → label3 профессии

Дообученный BlueBERT классифицирует англоязычные биомедицинские фрагменты по разделам научного документа.

23скачиваний за 30 дней0лайковвеса обновлены22 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель ml4pubmed/bluebert-pubmed-uncased-L-12-H-768-A-12_pub_section — дообученный классификатор текста на основе BlueBERT от BioNLP. Он предназначен для определения раздела научного документа по текстовому фрагменту: BACKGROUND, CONCLUSIONS, METHODS, OBJECTIVE или RESULTS.

Модель использует архитектуру BERT с 12 слоями, скрытым размером 768 и 12 головами внимания; содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она рассчитана на англоязычные тексты из биомедицинской области. В карточке приведены метрики на тестовой выборке: точность 0,831 и F1 0,828.

Модель подходит для автоматической разметки разделов аннотаций и научных текстов PubMed. Для текста существенно длиннее контекстного окна может понадобиться разбиение на фрагменты; качество на других языках и вне биомедицинской тематики не подтверждено. Сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

  • определение раздела аннотации PubMed
  • разметка фрагментов научной статьи как Background, Methods или Results
  • автоматическая классификация биомедицинских текстов по структуре документа

Ограничения

Контекст ограничен 512 токенами; качество на других языках и вне биомедицинских текстов не подтверждено. Лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейIV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bluebert-pubmed-uncased-L-12-H-768-A-12_pub_section

  • original model file name: textclassifer_bluebert_pubmed_uncased_L-12_H-768_A-12_pubmed_20k
  • This is a fine-tuned checkpoint of bionlp/bluebert_pubmed_uncased_L-12_H-768_A-12 for document section text classification
  • possible document section classes are:BACKGROUND, CONCLUSIONS, METHODS, OBJECTIVE, RESULTS,

metadata

training_metrics

  • val_accuracy: 0.8367536067962646

  • val_matthewscorrcoef: 0.779039740562439

  • val_f1score: 0.834040641784668

  • val_cross_entropy: 0.5102494359016418

  • epoch: 18.0

  • train_accuracy_step: 0.7890625

  • train_matthewscorrcoef_step: 0.7113237380981445

  • train_f1score_step: 0.7884777784347534

  • train_cross_entropy_step: 0.5615811944007874

  • train_accuracy_epoch: 0.7955580949783325

  • train_matthewscorrcoef_epoch: 0.7233519554138184

  • train_f1score_epoch: 0.7916122078895569

  • train_cross_entropy_epoch: 0.6050205230712891

  • test_accuracy: 0.8310602307319641

  • test_matthewscorrcoef: 0.7718994617462158

  • test_f1score: 0.8283351063728333

  • test_cross_entropy: 0.5230290293693542

  • date_run: Apr-22-2022_t-05

  • huggingface_tag: bionlp/bluebert_pubmed_uncased_L-12_H-768_A-12

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
59fec87

0 моделей

    Создать бенчмарк