Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-cased
Опубликована: 22 сен 2023

Ссылки

Hugging Face

bert-base-cased-MLM-chemistry

jonas-luehrs

Заполнение пропусковТекст → текст3 профессии

Дообученная BERT-модель для предсказания пропущенных токенов в химических текстах.

11скачиваний за 30 дней0лайковвеса обновлены22 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

jonas-luehrs/bert-base-cased-MLM-chemistry — модель BERT с 135,5 млн параметров, дообученная для заполнения пропусков в тексте о химии. Она принимает текст с маскированным токеном и предсказывает подходящие варианты для этого места. Модель основана на google-bert/bert-base-cased, использует архитектуру BertForMaskedLM и рассчитана на контекст до 512 токенов.

Модель подходит для подстановки химических терминов и продолжения фрагментов химического текста с пропусками. В README указано значение функции потерь 1,9321 на оценочном наборе, но сведения о наборе данных, языках и практических ограничениях отсутствуют. Распространяется по лицензии Apache-2.0.

Сценарии применения

подстановка пропущенного химического термина в тексте
подбор вероятного слова в химическом предложении
восстановление пропусков в научном фрагменте по химии

Ограничения

Датасет дообучения и языки модели не описаны, поэтому качество для конкретных химических текстов и языков не установлено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-cased-MLM-chemistry

This model is a fine-tuned version of bert-base-cased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.9321

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
2.321	1.0	683	2.1031
2.1499	2.0	1366	2.0020
2.0809	3.0	2049	1.9704
2.0465	4.0	2732	1.9331
2.029	5.0	3415	1.9276

Framework versions

Transformers 4.33.2
Pytorch 2.0.1+cu118
Datasets 2.14.5
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 5893752