Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Архитектура: bert · dense
Базовая модель: chembert_cased
Опубликована: 22 сен 2023

Ссылки

Hugging Face

chembert_cased-MLM-chemistry

jonas-luehrs

Заполнение пропусковТекст → текст3 профессии

Дообученная химическая BERT-модель для предсказания замаскированных токенов в текстах о химии.

10скачиваний за 30 дней0лайковвеса обновлены22 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

jonas-luehrs/chembert_cased-MLM-chemistry — модель BERT с 135,5 млн параметров, дообученная автором на неизвестном наборе данных на основе jiangg/chembert_cased. Она предназначена для заполнения пропусков в текстах о химии: модель предсказывает замаскированный токен с учётом окружающего контекста. Контекст составляет до 512 токенов; модель работает с текстом и распространяется в формате PyTorch.

Карточка сообщает значение loss 2,1485 на оценочном наборе, но не раскрывает состав данных и подробности оценки, поэтому результат нельзя интерпретировать как общую меру качества. Лицензия и специальные ограничения использования в доступных сведениях не описаны.

Сценарии применения

восстановление пропущенных слов в химических текстах
подбор вероятного токена в научном тексте по химии
анализ контекста при маскировании терминов в химических публикациях

Ограничения

Данные обучения неизвестны, а в README приведено только значение loss 2,1485 без описания оценочного набора. Лицензия в доступных сведениях не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

chembert_cased-MLM-chemistry

This model is a fine-tuned version of jiangg/chembert_cased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.1485

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
2.6478	1.0	683	2.3777
2.4088	2.0	1366	2.2350
2.3112	3.0	2049	2.1976
2.2641	4.0	2732	2.1444
2.2392	5.0	3415	2.1437

Framework versions

Transformers 4.33.2
Pytorch 2.0.1+cu118
Datasets 2.14.5
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 2a83780