Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Опубликована: 20 авг 2023

Ссылки

Hugging Face

bert-base-uncased-MLP-scirepeval-chemistry-LARGE

jonas-luehrs

Заполнение пропусковТекст → текст3 профессии

Дообученная на scirepeval модель BERT для предсказания замаскированных токенов в тексте.

9скачиваний за 30 дней0лайковвеса обновлены20 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bert-base-uncased-MLP-scirepeval-chemistry-LARGE — дообученная версия BERT от автора репозитория jonas-luehrs на датасете scirepeval. Модель использует архитектуру BertForMaskedLM и предназначена для заполнения пропусков в тексте: по контексту она предсказывает замаскированный токен. Число параметров — 136,7 млн, максимальная длина контекста — 512 токенов.

Название указывает на связь с химической тематикой, однако README не описывает специализацию или сценарии применения, поэтому надёжно определить её возможности в области химии нельзя. В карточке приведён результат оценки на выборке scirepeval: loss 1,7126. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

предсказание пропущенного слова в научном тексте
восстановление замаскированных токенов в тексте

Ограничения

README не описывает конкретные сценарии применения и подтверждённую специализацию на химических текстах. Приведён только результат loss 1,7126 на оценочной выборке scirepeval.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-uncased-MLP-scirepeval-chemistry-LARGE

This model is a fine-tuned version of bert-base-uncased on the scirepeval dataset. It achieves the following results on the evaluation set:

Loss: 1.7126

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss
2.2387	1.0	1407	1.9832
2.0503	2.0	2814	1.8959
1.9684	3.0	4221	1.8506
1.9195	4.0	5628	1.8186
1.8864	5.0	7035	1.8010
1.8551	6.0	8442	1.7677
1.8311	7.0	9849	1.7436
1.8185	8.0	11256	1.7415
1.8013	9.0	12663	1.7315
1.796	10.0	14070	1.7378

Framework versions

Transformers 4.31.0
Pytorch 2.0.1+cu118
Datasets 2.14.4
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: d1ba383