Характеристики

Лицензия: Apache 2.0
Библиотека: transformers
Опубликована: 4 авг 2026

Ссылки

climb-encoders

ЭмбеддингиТекст → embedding

Набор замороженных энкодеров ModernBERT для получения векторных представлений SMILES и обучения предсказателей свойств молекул.

0скачиваний за 30 дней0лайковвеса обновлены8 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CLIMB encoders — набор замороженных весов энкодера ModernBERT, опубликованный автором исследования CLIMB. В исследовании сравнивается, учит ли предварительное обучение на SMILES химическим закономерностям: варианты используют общую архитектуру, токенизатор и оптимизатор, но отличаются корпусом и бюджетом предобучения.

Модель предназначена для извлечения векторных представлений SMILES: эмбеддинги усредняются по токенам, после чего к ним обучают отдельную целевую голову для предсказания свойств молекул. Архитектура включает 12 слоёв, размер скрытого состояния 512, 8 голов внимания и около 41,4 млн параметров. Byte-BPE токенизатор имеет словарь из 1000 токенов, максимальная длина последовательности — 256.

Это экспериментальные энкодеры для контролируемого исследования и оценки представлений молекулярных строк, а не готовая универсальная система предсказания: для конкретной задачи нужна обученная голова. В репозитории не опубликованы конфигурации обучения и журналы метрик, а описание не приводит результаты качества. Лицензия — Apache-2.0.

Сценарии применения

получение эмбеддингов SMILES для молекул
обучение предсказателя молекулярных свойств поверх замороженного энкодера
сравнение корпусов предобучения для химических языковых моделей
оценка представлений молекул в контролируемых экспериментах

Ограничения

Для прикладного предсказания свойств требуется отдельно обучить целевую голову; опубликованные материалы не содержат тренировочных конфигураций и метрик качества. Максимальная длина последовательности составляет 256 токенов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CLIMB encoders

Frozen encoder weights for every run in CLIMB, a controlled study of whether unsupervised pretraining on SMILES teaches a chemical language model chemistry. All arms share one architecture, tokenizer and optimizer; they differ only in the pretraining corpus and budget.

Architecture

ModernBERT, 12 layers, hidden size 512, 8 heads, ~41.4M parameters. Byte-BPE tokenizer, vocab 1000, maximum sequence length 256.

Layout

<wave>/<run>/config.json
<wave>/<run>/model.safetensors
tokenizer/tokenizer.json, tokenizer/tokenizer_config.json, tokenizer/special_tokens_map.json

<wave> is the experiment group (climb_v2_phase2, climb_v2_expA, climb_v2_expB, and others); <run> names the arm. METHODS.md in the code repository defines every arm.

Use

from transformers import AutoModel, PreTrainedTokenizerFast
from huggingface_hub import snapshot_download

path = snapshot_download("lsieben/climb-encoders",
                         allow_patterns=["climb_v2_phase2/unsup_8M/*", "tokenizer/*"])
model = AutoModel.from_pretrained(f"{path}/climb_v2_phase2/unsup_8M")
tok = PreTrainedTokenizerFast.from_pretrained(f"{path}/tokenizer")

Encoders are used frozen, mean-pooled, with a trained head. The evaluation protocol is in METHODS.md.

What is not here

Training configurations and trainer metrics logs are not published in this repository.

Code: github.com/leifsieben/CLIMB
Encoders: lsieben/climb-encoders
Results: lsieben/climb-results
Pretraining data: lsieben/climb-pretrain-data

Citation

@misc{climb2026,
  title  = {Does Pretraining Teach Chemical Language Models Chemistry?},
  author = {Sieben, Leif and Zimmermann, Yoel},
  year   = {2026},
  note   = {Preprint, arXiv},
  url    = {https://github.com/leifsieben/CLIMB}
}

License

Apache-2.0.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 6b17136