Характеристики
- Контекст
- 514 токенов
- Параметры
- 96,6 млн
- Архитектура
- roberta · dense
Ссылки
ChemBERTa-zinc250k-v1
ChemBERTa-zinc250k-v1 — специализированная RoBERTa-модель, предобученная на SMILES из ZINC250k для восстановления маскированных токенов и получения химических представлений.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ChemBERTa-zinc250k-v1 — предобученная модель Seyone Chithrananda из семейства ChemBERTa, построенная на архитектуре RoBERTa. Она обучена методом masked language modeling на наборе молекул ZINC250k, представленных в формате SMILES, и предназначена для работы с химическими строковыми представлениями.
Модель решает задачу fill-mask: по контексту SMILES восстанавливает замаскированные токены и формирует контекстные представления молекул. Эти представления можно использовать как основу для последующего дообучения и анализа химических свойств, включая задачи дизайна лекарств, моделирования молекул и предсказания свойств.
Модель содержит около 96,6 млн параметров и поддерживает контекст до 514 токенов; доступны реализации для PyTorch и JAX. Её сильная сторона — специализированное предварительное обучение на химических SMILES вместо обычного текста. Модель не является готовым универсальным предиктором химических свойств: для прикладных задач обычно требуется дообучение на соответствующем размеченном наборе данных. Лицензия в доступных данных не подтверждена.
Сценарии применения
- восстановление маскированных фрагментов SMILES
- получение векторных представлений молекул
- дообучение для предсказания химических свойств
- подготовка моделей для дизайна лекарств
- анализ и моделирование молекулярных структур
Ограничения
Модель обучена на химических строках SMILES и не предназначена для обычного естественного языка. Для предсказания конкретных свойств или решения прикладных химических задач требуется соответствующее дообучение.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- 9caca1b