Med-KEBERT

Med-KEBERT — англоязычная биомедицинская модель семейства BERT, опубликованная пользователем xmcmic на Hugging Face. Она предназначена для извлечения признаков из медицинских текстов и может использоваться как текстовый энкодер в последующих моделях машинного обучения.

Модель имеет архитектуру BertModel, содержит около 136,7 млн параметров и поддерживает контекст до 512 токенов. В карточке указаны английский язык, библиотека Transformers и задача feature-extraction; модель также применялась как knowledge encoder при обучении систем для анализа рентгенологических изображений грудной клетки.

Сильной стороной является специализация на биомедицинской лексике и пригодность для построения эмбеддингов, классификаторов и мультимодальных медицинских систем. Модель не является генеративной и не предназначена для самостоятельной постановки диагнозов или выдачи клинических рекомендаций. Распространяется по лицензии OpenRAIL.