/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
442 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Библиотека
transformers
Опубликована
29 июл 2025

Ссылки

Hugging Face

dewata_bert_gelu

pijarcandra22
Заполнение пропусковТекст → текст3 профессии

Дообученная BERT-модель на 442,1 млн параметров для предсказания пропущенных токенов в тексте.

123скачиваний за 30 дней0лайковвеса обновлены26 ноя 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

dewatabertgelu — модель класса BERT с архитектурой BertForMaskedLM, дообученная на базе pijarcandra22/dewata_bert_gelu. Она предназначена для предсказания пропущенных токенов в тексте. Размер модели — 442,1 млн параметров, максимальный контекст — 512 токенов. Веса доступны в формате safetensors, для работы используется библиотека Transformers.

В карточке приведён результат оценки: loss 0,3142; обучающий датасет и область применения не описаны. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • восстановление пропущенных слов в предложении
  • подбор вероятного токена по контексту
  • заполнение масок в текстовых данных

Ограничения

Датасет и целевые языки не описаны; приведённый loss 0,3142 не сопровождается сведениями о методике оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

dewata_bert_gelu

This model is a fine-tuned version of pijarcandra22/dewata_bert_gelu on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3142

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 80
  • eval_batch_size: 80
  • seed: 42
  • optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • num_epochs: 100
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation Loss
3.06321.021532.7589
2.65342.043062.5378
2.41083.064592.4042
2.21694.086122.2892
2.07085.0107652.2492
1.95056.0129182.1956
1.86357.0150712.1887
1.78068.0172242.1658
1.71439.0193772.1419
1.647210.0215302.1155
1.584811.0236832.1398
1.530412.0258362.1151
1.465613.0279892.1178
1.421514.0301422.1389
1.37515.0322952.1276
1.331916.0344482.1258
1.292117.0366012.1140
1.257818.0387542.1110
1.208719.0409072.1127
1.1720.0430602.1248
1.139521.0452132.1059
1.108122.0473662.0860
1.075223.0495192.1249
1.041224.0516722.1316
1.011925.0538252.1182
0.985226.0559782.1331
0.957327.0581312.1385
0.929128.0602842.1583
0.905229.0624372.1286
0.881230.0645902.1635
0.859231.0667432.1526
0.831132.0688962.1488
0.809533.0710492.1478
0.79434.0732022.1496
0.772735.0753552.1671
0.753336.0775082.1542
0.733537.0796612.1502
0.71438.0818142.1448
0.698539.0839672.1553
0.68440.0861202.1365
0.664841.0882732.1962
0.65242.0904262.1734
0.634843.0925792.1742
0.618444.0947322.1718
0.606645.0968852.1597
0.590746.0990382.1823
0.577747.01011912.1935
0.734748.01033440.6094
0.711349.01054970.6030
0.692850.01076500.6279
0.668251.01098030.6459
0.658952.01119560.6777
0.63953.01141090.7150
0.625654.01162620.7474
0.607955.01184150.7618
0.592456.01205680.7921
0.581357.01227210.8130
0.569358.01248740.8569
0.55759.01270270.8834
0.544560.01291800.8872
0.532561.01313330.8912
0.51962.01334860.9274
0.511563.01356390.9433
0.503564.01377920.9394
0.490565.01399450.9600
0.486766.01420980.9607
0.471267.01442510.9685
0.467168.01464040.9959
0.457469.01485570.9948
0.446770.01507101.0065
0.439171.01528631.0075
0.432572.01550161.0138
0.423373.01571691.0218
0.415974.01593221.0246
0.412775.01614751.0275
0.405976.01636281.0405
0.399377.01657811.0482
0.391278.01679341.0344
0.385879.01700871.0452
0.381280.01722401.0316
0.377881.01743931.0595
0.371982.01765461.0594
0.365883.01786991.0671
0.364184.01808521.0492
0.357485.01830051.0752
0.350286.01851581.0538
0.349187.01873111.0669
0.342888.01894641.0670
0.340989.01916171.0697
0.338190.01937701.0716
0.334491.01959231.0750
0.422292.01980760.3014
0.410193.02002290.3137
0.404494.02023820.3089
0.402295.02045350.2992
0.398596.02066880.3129
0.397997.02088410.3149
0.393898.02109940.3168
0.392399.02131470.3147
0.3935100.02153000.3142

Framework versions

  • Transformers 4.57.1
  • Pytorch 2.9.0+cu126
  • Datasets 4.0.0
  • Tokenizers 0.22.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
3a55d20

0 моделей

    Создать бенчмарк