BC4-Original-bluebert_pubmed_uncased_L-12_H-768_A-12

ghadeermobasher/BC4-Original-bluebert_pubmed_uncased_L-12_H-768_A-12 — дообученная для токен-классификации модель BlueBERT, разработанная на основе BlueBERT от NCBI. Базовая модель представляет собой BERT-base без учета регистра, предварительно обученный на англоязычных аннотациях PubMed; исходный BlueBERT разработан для переноса обучения в задачах биомедицинской обработки естественного языка.

Модель предназначена для извлечения сущностей из биомедицинских текстов в рамках набора BC4CHEMD, в частности для распознавания упоминаний химических веществ и лекарственных соединений. Она использует архитектуру BERT с 12 слоями, размером скрытого представления 768 и 12 головами внимания; объем модели по метаданным составляет 136,7 млн параметров, а максимальная длина входа — 512 токенов. Модель работает с англоязычным текстом и предназначена для использования через Transformers/PyTorch.

Сильной стороной является специализация на научно-медицинской лексике PubMed и задаче извлечения химических сущностей. Модель не является генеративной и не предназначена для свободного диалога, суммаризации или перевода; качество вне биомедицинских англоязычных текстов и за пределами распределения BC4CHEMD может снижаться. Лицензия для производной модели в доступных источниках не установлена.