MatBERT

Репозиторий модели разработан группой lbnlp при участии исследователей CEDER и опубликован пользователем alan-yahya на Hugging Face; сам пользователь указывает, что загрузил модель для удобства и не является её создателем.

Модель предназначена для понимания терминологии материаловедения, анализа абзацев научных публикаций, masked language modeling и последующей адаптации к задачам классификации, извлечения сущностей и другим задачам NLP. Она обучена на корпусе примерно из 2 миллионов научных статей и около 50 миллионов отфильтрованных абзацев. Используются варианты matbert-base-cased и matbert-base-uncased с BERT-архитектурой и специализированными WordPiece-токенизаторами, лучше обрабатывающими химические формулы и обозначения материалов. Точные число параметров и размер контекстного окна для размещённой версии надёжно не указаны.

Сильная сторона MatBERT — специализация на материаловедении и более подходящая токенизация научных терминов и формул по сравнению с обычным BERT; опубликованы результаты на GLUE и примеры рассуждений о синтезе материалов для литий-ионных батарей. Это не генеративная модель общего назначения, а encoder-модель, поэтому для прикладных задач обычно требуется fine-tuning или специальная NLP-голова. На странице модели указана лицензия Apache-2.0; исходный репозиторий также содержит отдельное указание на MIT License, поэтому условия следует проверять для конкретного способа распространения.