ChemBERTa-77M-MLM

ChemBERTa-77M-MLM — модель DeepChem для работы с молекулярными структурами, представленными строками SMILES. Это RoBERTa-энкодер с архитектурой masked language model: он обучен предсказывать замаскированные токены и подходит для заполнения пропусков в SMILES, а также для получения представлений молекул и дообучения на задачах предсказания их свойств. Публикация о ChemBERTa описывает предварительное обучение на корпусе из 77 миллионов строк SMILES PubChem; в карточке этой версии указана архитектура RoBERTa, 3 слоя, 12 голов внимания, словарь из 600 токенов и максимальная длина последовательности 515 токенов.

Модель предназначена для cheminformatics и исследований свойств молекул, в том числе как основа для последующего дообучения на конкретных наборах данных. Она принимает текстовые последовательности SMILES и предсказывает токены; обычные естественные языки для неё не являются целевыми. В опубликованной оценке ChemBERTa на некоторых задачах MoleculeNet результаты уступали сильным базовым методам, поэтому качество на конкретной задаче зависит от дообучения и проверки. Карточка Hugging Face не содержит сведений о лицензии модели.