Предварительно обученная ChemBERTa на архитектуре RoBERTa для предсказания замаскированных токенов в молекулярных последовательностях.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ChemBERTa-100M-MLM — модель DeepChem на архитектуре RoBERTa, предварительно обученная методом masked language modeling на подмножестве из 100 млн молекул датасета ZINC20. Она содержит 119,3 млн параметров, принимает последовательности токенов и поддерживает контекст до 512 токенов. Модель предназначена для заполнения маскированных участков в молекулярных последовательностях и может служить основой для задач хемоинформатики.
Модель доступна в формате safetensors и используется через Transformers с AutoTokenizer и AutoModelForMaskedLM. Лицензия — MIT. Карточка не описывает качество на прикладных задачах и не подтверждает поддержку языков естественной речи.
Карточка не приводит оценок качества на downstream-задачах; назначение модели ограничено предсказанием маскированных токенов без дополнительной настройки.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
ChemBERTa model pretrained on a subset of 100M molecules from ZINC20 dataset using masked language modeling (MLM).
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("DeepChem/ChemBERTa-100M-MLM")
model = AutoModelForMaskedLM.from_pretrained("DeepChem/ChemBERTa-100M-MLM")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · fill-mask
Подбираем GPU…