Характеристики
- Контекст
- 515 токенов
- Параметры
- 3,6 млн
- Архитектура
- roberta · dense
Ссылки
ChemBERTa-10M-MLM
Небольшая модель RoBERTa от DeepChem для предсказания замаскированных токенов в химических строках SMILES.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ChemBERTa-10M-MLM — молекулярная языковая модель, опубликованная проектом DeepChem. Она использует архитектуру RoBERTa и обучена предсказывать замаскированные токены в строках SMILES, которые кодируют химические структуры. Модель содержит около 3,6 млн параметров, имеет 3 слоя трансформера, 12 голов внимания и контекст до 515 токенов.
Модель предназначена для восстановления пропущенных фрагментов SMILES и может служить предварительно обученным представлением для последующей настройки на задачи классификации и регрессии молекулярных свойств. Её область применения — химия и анализ малых молекул; это не универсальная модель для обычного текста. Карточка Hugging Face не сообщает лицензию, поэтому условия использования по доступным данным описать нельзя.
Сценарии применения
- восстановление замаскированных токенов в строке SMILES
- изучение химического контекста последовательности молекулы
- подготовка представлений молекул для последующего дообучения
Ограничения
Модель рассчитана на токенизированные химические строки SMILES и не является универсальной языковой моделью; доступные сведения не устанавливают её лицензию.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- a5cfe17