/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
137 млн
Архитектура
bert · dense
Базовая модель
scibert_scivocab_uncased
Опубликована
23 янв 2025

Ссылки

Hugging Face

nlp_te_mlm_scibert_tok

AmedeoBonatti
Заполнение пропусковТекст → текст3 профессии

Дообученная англоязычная SciBERT-модель для предсказания замаскированных токенов в научных текстах.

13скачиваний за 30 дней0лайковвеса обновлены23 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AmedeoBonatti/nlp_te_mlm_scibert_tok — дообученная модель на базе allenai/scibert_scivocab_uncased с архитектурой BERT и головой BertForMaskedLM. Она предназначена для предсказания замаскированных токенов в научных текстах. Модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Базовая SciBERT адаптирована к английской научной литературе; конкретный набор данных и специализация этого дообучения не описаны. Модель опубликована в формате safetensors.

Сценарии применения

  • восстановление пропущенных слов в научных статьях
  • подбор вероятных токенов для маскированных фрагментов текста
  • анализ языковых представлений научной лексики
  • эксперименты с masked language modeling на научных текстах

Ограничения

Данные обучения и предполагаемые сценарии применения этого чекпойнта не описаны. В README приведено значение loss 1,5247 на оценочном наборе, но не указаны набор данных и методика оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlm_scibert_uncased

This model is a fine-tuned version of allenai/scibert_scivocab_uncased on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.5247

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 16
  • eval_batch_size: 8
  • seed: 1234
  • gradient_accumulation_steps: 16
  • total_train_batch_size: 256
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 500
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation Loss
5.21510.99781423.7157
3.37861.99562842.8905
2.80132.99344262.5101
2.48923.99825692.3025
2.32734.99607112.1637
2.20015.99398532.0614
2.09496.99879961.9968
2.03477.996511381.9339
1.97638.994312801.8893
1.91349.999114231.8491
1.881810.996915651.8097
1.843211.994717071.7851
1.80112.999618501.7577
1.785313.997419921.7347
1.757714.995221341.7108
1.723516.022771.7003
1.709816.997824191.6830
1.689117.995625611.6636
1.67418.993427031.6488
1.644619.998228461.6392
1.640720.996029881.6268
1.626421.993931301.6132
1.597522.998732731.6025
1.596523.996534151.5991
1.583524.994335571.5914
1.559725.999137001.5725
1.558826.996938421.5693
1.547827.994739841.5709
1.529728.999641271.5611
1.52729.997442691.5506
1.516430.995244111.5445
1.496732.045541.5398
1.498232.997846961.5291
1.490633.995648381.5248
1.482734.993449801.5287
1.464535.998251231.5223
1.465736.996052651.5108
1.453837.993954071.5092
1.436538.998755501.5037
1.441939.996556921.4937
1.432740.994358341.4969
1.415341.999159771.4938
1.416842.996961191.4842
1.412643.994762611.4825
1.39744.999664041.4800
1.398945.997465461.4805
1.395346.995266881.4748
1.380248.068311.4748
1.382448.997869731.4713
1.377649.995671151.4687
1.370450.993472571.4626
1.357551.998274001.4567
1.364252.996075421.4599
1.357453.993976841.4542
1.342254.998778271.4477
1.347255.996579691.4519
1.342656.994381111.4514
1.328957.999182541.4502
1.335458.996983961.4431
1.329459.994785381.4432
1.317460.999686811.4420
1.322661.997488231.4443
1.314562.995289651.4468
1.302264.091081.4405
1.307164.997892501.4365
1.302165.995693921.4416
1.299666.993495341.4353
1.285467.998296771.4335
1.289168.996098191.4322
1.289269.993999611.4323
1.273170.9987101041.4340
1.280671.9965102461.4206
1.277172.9943103881.4264
1.262873.9991105311.4265
1.268274.9969106731.4266
1.263475.9947108151.4340
1.252976.9996109581.4248
1.259477.9974111001.4292
1.253278.9952112421.4276
1.242880.0113851.4246
1.24780.9978115271.4192
1.245981.9956116691.4230
1.241882.9934118111.4211
1.230883.9982119541.4184
1.235184.9960120961.4154
1.233785.9939122381.4177
1.219886.9987123811.4171
1.225587.9965125231.4136
1.224688.9943126651.4203
1.212789.9991128081.4192
1.217990.9969129501.4201
1.21391.9947130921.4150
1.202392.9996132351.4101
1.210793.9974133771.4159
1.205694.9952135191.4158
1.194296.0136621.4145
1.200996.9978138041.4134
1.197297.9956139461.4118
1.195998.9934140881.4151
1.184599.9982142311.4124
1.1889100.9960143731.4092
1.1887101.9939145151.4157
1.1753102.9987146581.4129
1.1809103.9965148001.4196
1.1782104.9943149421.4104
1.1691105.9991150851.4115
1.1745106.9969152271.4093
1.1729107.9947153691.4077
1.1622108.9996155121.4136
1.1674109.9974156541.4075
1.1639110.9952157961.4104
1.1565112.0159391.4118
1.1587112.9978160811.4082
1.1559113.9956162231.4142
1.1543114.9934163651.4118
1.1427115.9982165081.4099
1.1509116.9960166501.4137
1.1464117.9939167921.4132
1.1347118.9987169351.4082
1.1431119.9965170771.4117
1.1401120.9943172191.4113
1.1293121.9991173621.4149
1.1352122.9969175041.4123
1.1347123.9947176461.4105
1.1231124.9996177891.4109
1.1303125.9974179311.4082
1.1259126.9952180731.4126
1.1165128.0182161.4116
1.1236128.9978183581.4132
1.1202129.9956185001.4107
1.1192130.9934186421.4207
1.1108131.9982187851.4101
1.1137132.9960189271.4062
1.1125133.9939190691.4125
1.1028134.9987192121.4175
1.1098135.9965193541.4087
1.1076136.9943194961.4116
1.0984137.9991196391.4086
1.1005138.9969197811.4185
1.1013139.9947199231.4152
1.0919140.9996200661.4164
1.0949141.9974202081.4158
1.0968142.9952203501.4111
1.0857144.0204931.4114
1.0892144.9978206351.4157
1.0915145.9956207771.4197
1.088146.9934209191.4167
1.0764147.9982210621.4158
1.0836148.9960212041.4140
1.0825149.9939213461.4151
1.0711150.9987214891.4150
1.0776151.9965216311.4181
1.0754152.9943217731.4171
1.0662153.9991219161.4205
1.0721154.9969220581.4187
1.0697155.9947222001.4186
1.0608156.9996223431.4244
1.0672157.9974224851.4190
1.0648158.9952226271.4218
1.0558160.0227701.4086
1.062160.9978229121.4184
1.0607161.9956230541.4171
1.0589162.9934231961.4271
1.0483163.9982233391.4142
1.0544164.9960234811.4198
1.0528165.9939236231.4182
1.045166.9987237661.4158
1.0487167.9965239081.4233
1.0488168.9943240501.4218
1.0398169.9991241931.4262
1.045170.9969243351.4246
1.0416171.9947244771.4237
1.0352172.9996246201.4262
1.0392173.9974247621.4250
1.038174.9952249041.4237
1.031176.0250471.4253
1.0357176.9978251891.4204
1.0342177.9956253311.4309
1.0321178.9934254731.4307
1.023179.9982256161.4303
1.0302180.9960257581.4310
1.0272181.9939259001.4289
1.0188182.9987260431.4257
1.0248183.9965261851.4298
1.0233184.9943263271.4326
1.0162185.9991264701.4299
1.0202186.9969266121.4259
1.0192187.9947267541.4268
1.009188.9996268971.4341
1.0155189.9974270391.4270
1.0126190.9952271811.4242
1.0044192.0273241.4302
1.012192.9978274661.4267
1.0092193.9956276081.4296
1.0078194.9934277501.4312
1.0008195.9982278931.4307
1.005196.9960280351.4326
1.0032197.9939281771.4397
0.9952198.9987283201.4373
1.0021199.9965284621.4368
1.0014200.9943286041.4289
0.9909201.9991287471.4328
0.9963202.9969288891.4315
0.997203.9947290311.4329
0.9891204.9996291741.4344
0.9939205.9974293161.4365
0.9907206.9952294581.4387
0.9841208.0296011.4436
0.9898208.9978297431.4360
0.9886209.9956298851.4373
0.9867210.9934300271.4378
0.9775211.9982301701.4367
0.9839212.9960303121.4341
0.9836213.9939304541.4371
0.973214.9987305971.4428
0.9791215.9965307391.4409
0.9793216.9943308811.4453
0.9708217.9991310241.4395
0.9758218.9969311661.4391
0.9746219.9947313081.4441
0.9668220.9996314511.4398
0.9716221.9974315931.4408
0.9704222.9952317351.4398
0.9629224.0318781.4503
0.9686224.9978320201.4513
0.9647225.9956321621.4463
0.964226.9934323041.4491
0.9581227.9982324471.4490
0.9634228.9960325891.4481
0.9625229.9939327311.4511
0.9556230.9987328741.4545
0.9612231.9965330161.4493
0.9594232.9943331581.4517
0.9507233.9991333011.4513
0.9552234.9969334431.4500
0.9566235.9947335851.4497
0.9475236.9996337281.4490
0.9518237.9974338701.4476
0.9532238.9952340121.4544
0.9439240.0341551.4613
0.9483240.9978342971.4579
0.9481241.9956344391.4494
0.9464242.9934345811.4528
0.9393243.9982347241.4551
0.9444244.9960348661.4617
0.9433245.9939350081.4575
0.9332246.9987351511.4657
0.94247.9965352931.4590
0.9395248.9943354351.4558
0.9322249.9991355781.4559
0.9369250.9969357201.4650
0.934251.9947358621.4630
0.9287252.9996360051.4572
0.9342253.9974361471.4567
0.9325254.9952362891.4602
0.9262256.0364321.4594
0.9324256.9978365741.4610
0.9298257.9956367161.4599
0.9283258.9934368581.4608
0.9223259.9982370011.4580
0.9256260.9960371431.4642
0.9262261.9939372851.4665
0.9186262.9987374281.4640
0.9225263.9965375701.4633
0.9208264.9943377121.4626
0.913265.9991378551.4675
0.9218266.9969379971.4695
0.9187267.9947381391.4591
0.9114268.9996382821.4622
0.9168269.9974384241.4639
0.9154270.9952385661.4724
0.9097272.0387091.4701
0.9121272.9978388511.4727
0.9121273.9956389931.4696
0.9103274.9934391351.4684
0.9023275.9982392781.4634
0.9112276.9960394201.4674
0.9088277.9939395621.4666
0.9005278.9987397051.4700
0.9054279.9965398471.4749
0.9064280.9943399891.4635
0.898281.9991401321.4673
0.9032282.9969402741.4748
0.9027283.9947404161.4740
0.8936284.9996405591.4745
0.9023285.9974407011.4686
0.9022286.9952408431.4723
0.8938288.0409861.4730
0.9005288.9978411281.4763
0.8981289.9956412701.4784
0.8955290.9934414121.4772
0.8899291.9982415551.4744
0.8952292.9960416971.4753
0.8929293.9939418391.4738
0.8858294.9987419821.4782
0.8914295.9965421241.4732
0.8924296.9943422661.4804
0.8833297.9991424091.4811
0.8877298.9969425511.4771
0.8885299.9947426931.4829
0.8782300.9996428361.4755
0.8864301.9974429781.4807
0.8875302.9952431201.4756
0.8791304.0432631.4779
0.8844304.9978434051.4849
0.8825305.9956435471.4844
0.8826306.9934436891.4803
0.8743307.9982438321.4794
0.8793308.9960439741.4846
0.8784309.9939441161.4855
0.8738310.9987442591.4817
0.8763311.9965444011.4848
0.8777312.9943445431.4890
0.8698313.9991446861.4901
0.8738314.9969448281.4855
0.874315.9947449701.4853
0.8683316.9996451131.4852
0.8711317.9974452551.4862
0.872318.9952453971.4903
0.8644320.0455401.4822
0.8694320.9978456821.4955
0.8693321.9956458241.4904
0.8667322.9934459661.4900
0.862323.9982461091.4890
0.8656324.9960462511.4914
0.8664325.9939463931.4945
0.8591326.9987465361.4904
0.8657327.9965466781.4891
0.8609328.9943468201.4909
0.8574329.9991469631.4880
0.8636330.9969471051.4917
0.8607331.9947472471.4901
0.8537332.9996473901.4912
0.8613333.9974475321.4974
0.8588334.9952476741.4955
0.8516336.0478171.4970
0.8565336.9978479591.4929
0.8553337.9956481011.4969
0.8569338.9934482431.4984
0.8485339.9982483861.5038
0.854340.9960485281.4965
0.8529341.9939486701.4978
0.8485342.9987488131.5020
0.8524343.9965489551.4966
0.852344.9943490971.4978
0.845345.9991492401.4995
0.8491346.9969493821.4996
0.849347.9947495241.4993
0.8434348.9996496671.5005
0.8481349.9974498091.5011
0.8477350.9952499511.5016
0.8397352.0500941.4931
0.8463352.9978502361.4950
0.8457353.9956503781.4989
0.8432354.9934505201.5022
0.839355.9982506631.5075
0.8423356.9960508051.4998
0.841357.9939509471.4941
0.8337358.9987510901.5071
0.8399359.9965512321.4993
0.839360.9943513741.4980
0.8345361.9991515171.5069
0.8404362.9969516591.5073
0.8377363.9947518011.5053
0.8316364.9996519441.5047
0.8365365.9974520861.5005
0.8348366.9952522281.5071
0.8302368.0523711.5044
0.8359368.9978525131.5033
0.8345369.9956526551.5036
0.8331370.9934527971.5043
0.8283371.9982529401.5052
0.8324372.9960530821.5111
0.8314373.9939532241.5039
0.8264374.9987533671.5096
0.8314375.9965535091.5067
0.8304376.9943536511.5073
0.8233377.9991537941.5093
0.8301378.9969539361.5040
0.8279379.9947540781.5114
0.8207380.9996542211.5109
0.8262381.9974543631.5140
0.8252382.9952545051.5077
0.8215384.0546481.5126
0.8251384.9978547901.5118
0.8239385.9956549321.5160
0.8244386.9934550741.5170
0.8171387.9982552171.5175
0.8204388.9960553591.5128
0.8222389.9939555011.5137
0.8176390.9987556441.5144
0.8193391.9965557861.5187
0.8198392.9943559281.5097
0.8138393.9991560711.5152
0.8185394.9969562131.5116
0.8193395.9947563551.5135
0.812396.9996564981.5155
0.8183397.9974566401.5123
0.817398.9952567821.5140
0.8109400.0569251.5172
0.8157400.9978570671.5103
0.8158401.9956572091.5197
0.8142402.9934573511.5216
0.8101403.9982574941.5114
0.8142404.9960576361.5184
0.8121405.9939577781.5158
0.8073406.9987579211.5166
0.8117407.9965580631.5177
0.8114408.9943582051.5145
0.808409.9991583481.5181
0.8118410.9969584901.5155
0.8109411.9947586321.5175
0.8057412.9996587751.5217
0.8104413.9974589171.5172
0.8087414.9952590591.5182
0.8013416.0592021.5169
0.8062416.9978593441.5161
0.8077417.9956594861.5176
0.8049418.9934596281.5239
0.8015419.9982597711.5181
0.8066420.9960599131.5177
0.8037421.9939600551.5206
0.8002422.9987601981.5196
0.8043423.9965603401.5116
0.8053424.9943604821.5249
0.7982425.9991606251.5203
0.8018426.9969607671.5256
0.8028427.9947609091.5218
0.7972428.9996610521.5161
0.8012429.9974611941.5211
0.801430.9952613361.5185
0.7948432.0614791.5224
0.799432.9978616211.5240
0.7996433.9956617631.5181
0.7989434.9934619051.5224
0.7951435.9982620481.5220
0.7978436.9960621901.5252
0.7981437.9939623321.5301
0.7903438.9987624751.5223
0.7975439.9965626171.5278
0.7972440.9943627591.5215
0.7891441.9991629021.5234
0.7954442.9969630441.5216
0.7951443.9947631861.5265
0.7889444.9996633291.5171
0.7959445.9974634711.5235
0.7945446.9952636131.5242
0.7899448.0637561.5200
0.7929448.9978638981.5213
0.7937449.9956640401.5215
0.7938450.9934641821.5279
0.7864451.9982643251.5258
0.7959452.9960644671.5217
0.7901453.9939646091.5254
0.787454.9987647521.5241
0.7928455.9965648941.5225
0.7888456.9943650361.5216
0.7844457.9991651791.5232
0.7921458.9969653211.5255
0.7907459.9947654631.5261
0.7847460.9996656061.5319
0.7907461.9974657481.5237
0.7903462.9952658901.5275
0.7834464.0660331.5275
0.7887464.9978661751.5310
0.7887465.9956663171.5327
0.7872466.9934664591.5247
0.7811467.9982666021.5282
0.7866468.9960667441.5300
0.7874469.9939668861.5306
0.7808470.9987670291.5324
0.7864471.9965671711.5278
0.7871472.9943673131.5250
0.7816473.9991674561.5233
0.7829474.9969675981.5187
0.7863475.9947677401.5263
0.7801476.9996678831.5261
0.7825477.9974680251.5276
0.7854478.9952681671.5270
0.7792480.0683101.5248
0.7838480.9978684521.5295
0.7851481.9956685941.5269
0.7824482.9934687361.5314
0.7788483.9982688791.5308
0.783484.9960690211.5314
0.7844485.9939691631.5198
0.7767486.9987693061.5268
0.7822487.9965694481.5310
0.7836488.9943695901.5263
0.777489.9991697331.5286
0.7835490.9969698751.5229
0.782491.9947700171.5306
0.7777492.9996701601.5275
0.7826493.9974703021.5286
0.7826494.9952704441.5286
0.7762496.0705871.5241
0.7827496.9978707291.5268
0.78497.9956708711.5275
0.7756498.9021710001.5247

Framework versions

  • Transformers 4.41.2
  • Pytorch 2.2.1
  • Datasets 2.19.2
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
f15627b

0 моделей

    Создать бенчмарк