/ Модель
Каталог

Характеристики

Контекст
514 токенов
Параметры
334 млн
Лицензия
MIT
Архитектура
xlm-roberta · dense
Опубликована
28 авг 2022

Ссылки

Hugging Face

finetuned-xlm-r-masakhaner-swa-whole-word-phonetic

JEdward7777
Заполнение пропусковТекст → текст3 профессии

Дообученная XLM-RoBERTa для предсказания пропущенных токенов в тексте, предположительно ориентированная на суахили.

75скачиваний за 30 дней0лайковвеса обновлены12 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

JEdward7777/finetuned-xlm-r-masakhaner-swa-whole-word-phonetic — дообученная модель на базе xlm-roberta-base с архитектурой XLM-RoBERTa и 333,9 млн параметров. Она предназначена для задачи fill-mask: предсказывает пропущенные токены в тексте. По названию репозитория модель связана с MasakhaNER и суахили, однако карточка не описывает датасет и целевое применение подробнее. Модель принимает текст, поддерживает контекст до 514 токенов и выдаёт текстовые предсказания. Распространяется в формате PyTorch по лицензии MIT.

Сценарии применения

  • предсказание пропущенных слов в тексте на суахили
  • восстановление замаскированных токенов при анализе текста
  • оценка вероятных замен токенов в контекстных представлениях

Ограничения

Карточка не содержит подробностей о датасете, целевом назначении и оценке качества; приведённое значение loss — 11.0418. Предполагаемая ориентация на суахили следует из названия репозитория.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

finetuned-xlm-r-masakhaner-swa-whole-word-phonetic

This model is a fine-tuned version of xlm-roberta-base on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 11.0418

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-08
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 500

Training results

Training LossEpochStepValidation Loss
No log1.06239.5330
No log2.012439.2832
No log3.018639.7275
No log4.024838.7389
No log5.031038.1088
No log6.037237.6541
No log7.043436.2860
No log8.049636.0252
40.889.055835.2045
40.8810.062034.1314
40.8811.068232.9068
40.8812.074432.0917
40.8813.080631.3414
40.8814.086830.1522
40.8815.093029.0864
40.8816.099227.7657
32.344917.0105426.6795
32.344918.0111625.4307
32.344919.0117824.4571
32.344920.0124024.0340
32.344921.0130222.6889
32.344922.0136421.9149
32.344923.0142620.9471
32.344924.0148820.7152
24.11425.0155019.9579
24.11426.0161219.4215
24.11427.0167418.7025
24.11428.0173618.0530
24.11429.0179817.7290
24.11430.0186017.2821
24.11431.0192216.8666
24.11432.0198416.4210
18.401533.0204616.2339
18.401534.0210815.7990
18.401535.0217015.7727
18.401536.0223215.2343
18.401537.0229415.1427
18.401538.0235614.8736
18.401539.0241814.7042
18.401540.0248014.5392
14.94641.0254214.5356
14.94642.0260414.1603
14.94643.0266614.1452
14.94644.0272814.1982
14.94645.0279013.9763
14.94646.0285213.9216
14.94647.0291413.7671
14.94648.0297613.6343
13.151849.0303813.6241
13.151850.0310013.4163
13.151851.0316213.4401
13.151852.0322413.5609
13.151853.0328613.2858
13.151854.0334813.1582
13.151855.0341013.2456
13.151856.0347213.2341
12.135957.0353413.0155
12.135958.0359613.0293
12.135959.0365812.9712
12.135960.0372012.9446
12.135961.0378212.8301
12.135962.0384412.7574
12.135963.0390612.6967
12.135964.0396812.6533
11.558465.0403012.5547
11.558466.0409212.5866
11.558467.0415412.7563
11.558468.0421612.6487
11.558469.0427812.6015
11.558470.0434012.5097
11.558471.0440212.5312
11.558472.0446412.4679
11.22473.0452612.4805
11.22474.0458812.4431
11.22475.0465012.3025
11.22476.0471212.1543
11.22477.0477412.3555
11.22478.0483612.2642
11.22479.0489812.3555
11.22480.0496012.2913
10.989781.0502212.2483
10.989782.0508412.1817
10.989783.0514612.3593
10.989784.0520812.0717
10.989785.0527012.2478
10.989786.0533212.0652
10.989787.0539412.1249
10.989788.0545612.0900
10.815689.0551811.9840
10.815690.0558012.1210
10.815691.0564212.1809
10.815692.0570412.0218
10.815693.0576612.1439
10.815694.0582811.9183
10.815695.0589012.0674
10.815696.0595212.0093
10.690697.0601412.0089
10.690698.0607611.9560
10.690699.0613811.7673
10.6906100.0620012.0341
10.6906101.0626212.0382
10.6906102.0632411.8758
10.6906103.0638611.9393
10.6906104.0644811.8785
10.5767105.0651011.8156
10.5767106.0657211.7506
10.5767107.0663411.9005
10.5767108.0669611.8800
10.5767109.0675811.9346
10.5767110.0682011.8334
10.5767111.0688211.6163
10.5767112.0694411.8294
10.5013113.0700611.7866
10.5013114.0706811.7243
10.5013115.0713011.5645
10.5013116.0719211.7551
10.5013117.0725411.6259
10.5013118.0731611.7235
10.5013119.0737811.6999
10.5013120.0744011.4851
10.4493121.0750211.4951
10.4493122.0756411.5214
10.4493123.0762611.7396
10.4493124.0768811.6963
10.4493125.0775011.5305
10.4493126.0781211.7711
10.4493127.0787411.8031
10.4493128.0793611.5951
10.4493129.0799811.4736
10.3973130.0806011.6156
10.3973131.0812211.5447
10.3973132.0818411.3567
10.3973133.0824611.4839
10.3973134.0830811.4416
10.3973135.0837011.5395
10.3973136.0843211.4376
10.3973137.0849411.3781
10.3569138.0855611.4179
10.3569139.0861811.6747
10.3569140.0868011.6111
10.3569141.0874211.5093
10.3569142.0880411.4756
10.3569143.0886611.3498
10.3569144.0892811.5626
10.3569145.0899011.3474
10.3565146.0905211.3776
10.3565147.0911411.3628
10.3565148.0917611.4859
10.3565149.0923811.4221
10.3565150.0930011.4199
10.3565151.0936211.5701
10.3565152.0942411.4637
10.3565153.0948611.6586
10.3122154.0954811.4878
10.3122155.0961011.5903
10.3122156.0967211.3811
10.3122157.0973411.4550
10.3122158.0979611.5699
10.3122159.0985811.5154
10.3122160.0992011.5016
10.3122161.0998211.5712
10.2888162.01004411.2899
10.2888163.01010611.2509
10.2888164.01016811.4525
10.2888165.01023011.3640
10.2888166.01029211.3375
10.2888167.01035411.3969
10.2888168.01041611.4781
10.2888169.01047811.3980
10.2642170.01054011.2877
10.2642171.01060211.3369
10.2642172.01066411.3854
10.2642173.01072611.5050
10.2642174.01078811.4826
10.2642175.01085011.3425
10.2642176.01091211.2417
10.2642177.01097411.1263
10.2586178.01103611.4087
10.2586179.01109811.3919
10.2586180.01116011.2514
10.2586181.01122211.2570
10.2586182.01128411.4419
10.2586183.01134611.4110
10.2586184.01140811.3919
10.2586185.01147011.2426
10.2479186.01153211.3869
10.2479187.01159411.2953
10.2479188.01165611.3316
10.2479189.01171811.1373
10.2479190.01178011.1654
10.2479191.01184211.3204
10.2479192.01190411.3129
10.2479193.01196611.2715
10.2172194.01202811.2646
10.2172195.01209011.3356
10.2172196.01215211.3013
10.2172197.01221411.5378
10.2172198.01227611.3641
10.2172199.01233811.3698
10.2172200.01240011.2677
10.2172201.01246211.2973
10.2023202.01252411.1405
10.2023203.01258611.3286
10.2023204.01264811.2122
10.2023205.01271011.2324
10.2023206.01277211.3512
10.2023207.01283411.0882
10.2023208.01289611.3575
10.2023209.01295811.2502
10.1926210.01302011.3278
10.1926211.01308211.2199
10.1926212.01314411.2567
10.1926213.01320611.2855
10.1926214.01326811.1893
10.1926215.01333011.2600
10.1926216.01339211.2850
10.1926217.01345411.2274
10.2075218.01351611.1108
10.2075219.01357811.2756
10.2075220.01364011.2839
10.2075221.01370211.2161
10.2075222.01376411.1866
10.2075223.01382611.1222
10.2075224.01388811.2648
10.2075225.01395011.2936
10.1822226.01401211.1362
10.1822227.01407411.2598
10.1822228.01413611.3352
10.1822229.01419811.1183
10.1822230.01426011.2075
10.1822231.01432211.1908
10.1822232.01438411.1331
10.1822233.01444611.0929
10.1863234.01450811.1061
10.1863235.01457011.0546
10.1863236.01463211.1765
10.1863237.01469411.2513
10.1863238.01475611.0919
10.1863239.01481811.2739
10.1863240.01488011.0342
10.1863241.01494211.2368
10.1724242.01500411.2552
10.1724243.01506611.1515
10.1724244.01512811.0491
10.1724245.01519011.0184
10.1724246.01525211.3787
10.1724247.01531411.2329
10.1724248.01537611.0729
10.1724249.01543811.1472
10.1671250.01550011.0619
10.1671251.01556211.2197
10.1671252.01562411.2241
10.1671253.01568611.3102
10.1671254.01574811.2900
10.1671255.01581011.3001
10.1671256.01587211.2206
10.1671257.01593411.1027
10.1671258.01599611.3067
10.1579259.01605811.3017
10.1579260.01612011.0980
10.1579261.01618211.2158
10.1579262.01624410.9408
10.1579263.01630611.1086
10.1579264.01636811.2858
10.1579265.01643011.2805
10.1579266.01649211.0887
10.1552267.01655411.1715
10.1552268.01661611.1470
10.1552269.01667811.1067
10.1552270.01674011.1639
10.1552271.01680211.1470
10.1552272.01686411.2063
10.1552273.01692611.1647
10.1552274.01698811.0061
10.1468275.01705011.3822
10.1468276.01711210.9467
10.1468277.01717411.2735
10.1468278.01723611.0132
10.1468279.01729811.1604
10.1468280.01736011.1620
10.1468281.01742211.0650
10.1468282.01748410.9920
10.1402283.01754611.0450
10.1402284.01760810.9830
10.1402285.01767011.0135
10.1402286.01773211.2642
10.1402287.01779411.1124
10.1402288.01785611.1928
10.1402289.01791811.1284
10.1402290.01798011.2088
10.147291.01804211.0756
10.147292.01810411.0514
10.147293.01816611.1475
10.147294.01822811.0448
10.147295.01829011.2417
10.147296.01835211.1070
10.147297.01841411.0149
10.147298.01847611.1680
10.1331299.01853811.1006
10.1331300.01860010.9447
10.1331301.01866210.9882
10.1331302.01872411.0269
10.1331303.01878610.9764
10.1331304.01884811.0889
10.1331305.01891011.0243
10.1331306.01897211.0250
10.1244307.01903411.1133
10.1244308.01909611.0134
10.1244309.01915810.9951
10.1244310.01922011.2620
10.1244311.01928211.1107
10.1244312.01934411.0597
10.1244313.01940610.9608
10.1244314.01946810.9975
10.1251315.01953011.0170
10.1251316.01959211.1525
10.1251317.01965411.0108
10.1251318.01971611.0247
10.1251319.01977811.1131
10.1251320.01984011.0462
10.1251321.01990211.0606
10.1251322.01996411.0049
10.1178323.02002611.1101
10.1178324.02008811.0348
10.1178325.02015011.2864
10.1178326.02021210.9508
10.1178327.02027410.9956
10.1178328.02033610.9561
10.1178329.02039810.9534
10.1178330.02046011.3653
10.1215331.02052211.1188
10.1215332.02058411.0908
10.1215333.02064610.9856
10.1215334.02070810.9873
10.1215335.02077011.0489
10.1215336.02083211.1130
10.1215337.02089410.8774
10.1215338.02095610.7878
10.1267339.02101811.1740
10.1267340.02108011.0039
10.1267341.02114211.0325
10.1267342.02120411.0498
10.1267343.02126611.0237
10.1267344.02132811.0935
10.1267345.02139010.8161
10.1267346.02145211.0701
10.1105347.02151410.8763
10.1105348.02157611.0623
10.1105349.02163810.9502
10.1105350.02170011.0760
10.1105351.02176211.1472
10.1105352.02182411.1567
10.1105353.02188611.0119
10.1105354.02194811.0740
10.1124355.02201011.0351
10.1124356.02207210.9959
10.1124357.02213410.9829
10.1124358.02219611.1624
10.1124359.02225811.1082
10.1124360.02232011.0496
10.1124361.02238211.1115
10.1124362.02244410.8872
10.1057363.02250610.8992
10.1057364.02256811.0268
10.1057365.02263010.9615
10.1057366.02269210.9675
10.1057367.02275411.1775
10.1057368.02281610.9949
10.1057369.02287811.0816
10.1057370.02294011.0516
10.1217371.02300211.0672
10.1217372.02306410.9670
10.1217373.02312611.2001
10.1217374.02318811.0178
10.1217375.02325010.8959
10.1217376.02331211.1671
10.1217377.02337411.1813
10.1217378.02343611.1560
10.1217379.02349811.0848
10.1098380.02356011.0467
10.1098381.02362211.1489
10.1098382.02368411.0066
10.1098383.02374610.9771
10.1098384.02380810.8953
10.1098385.02387010.9032
10.1098386.02393210.8922
10.1098387.02399410.9931
10.1262388.02405611.1278
10.1262389.02411811.1011
10.1262390.02418011.0422
10.1262391.02424211.0631
10.1262392.02430410.9703
10.1262393.02436610.9536
10.1262394.02442811.0767
10.1262395.02449010.9228
10.1038396.02455211.1420
10.1038397.02461411.1451
10.1038398.02467611.1663
10.1038399.02473811.0756
10.1038400.02480011.1149
10.1038401.02486211.0656
10.1038402.02492411.0752
10.1038403.02498611.1417
10.1159404.02504810.9629
10.1159405.02511010.9380
10.1159406.02517211.0099
10.1159407.02523411.1378
10.1159408.02529610.8511
10.1159409.02535811.0122
10.1159410.02542011.0101
10.1159411.02548210.8735
10.0848412.02554411.0082
10.0848413.02560611.0128
10.0848414.02566811.1373
10.0848415.02573011.1380
10.0848416.02579210.9388
10.0848417.02585410.9308
10.0848418.02591611.0828
10.0848419.02597811.2567
10.0923420.02604011.0402
10.0923421.02610211.0285
10.0923422.02616411.0028
10.0923423.02622610.9785
10.0923424.02628811.0468
10.0923425.02635011.0595
10.0923426.02641211.0987
10.0923427.02647410.8764
10.1428.02653610.9643
10.1429.02659810.9864
10.1430.02666011.0019
10.1431.02672211.1037
10.1432.02678410.9560
10.1433.02684610.9808
10.1434.02690811.0447
10.1435.02697010.9433
10.0944436.02703211.0408
10.0944437.02709410.8298
10.0944438.02715611.1691
10.0944439.02721811.0291
10.0944440.02728010.9908
10.0944441.02734210.8890
10.0944442.02740411.0247
10.0944443.02746611.1023
10.0965444.02752811.1252
10.0965445.02759011.0374
10.0965446.02765211.0327
10.0965447.02771410.8393
10.0965448.02777610.9528
10.0965449.02783811.0124
10.0965450.02790010.8483
10.0965451.02796210.8977
10.1023452.02802411.0330
10.1023453.02808610.9282
10.1023454.02814811.0282
10.1023455.02821010.9465
10.1023456.02827210.9338
10.1023457.02833410.9981
10.1023458.02839611.0046
10.1023459.02845811.0581
10.0928460.02852011.0699
10.0928461.02858211.0084
10.0928462.02864410.9690
10.0928463.02870611.0585
10.0928464.02876811.1586
10.0928465.02883011.0082
10.0928466.02889211.0495
10.0928467.02895410.8531
10.0925468.02901610.8587
10.0925469.02907811.1600
10.0925470.02914010.9920
10.0925471.02920211.0200
10.0925472.02926411.0570
10.0925473.02932610.9316
10.0925474.02938811.0597
10.0925475.02945010.9941
10.0956476.02951211.0770
10.0956477.02957411.0068
10.0956478.02963610.9080
10.0956479.02969810.8656
10.0956480.02976011.0350
10.0956481.02982211.0673
10.0956482.02988411.0344
10.0956483.02994610.9819
10.112484.03000811.0667
10.112485.03007010.9373
10.112486.03013210.9777
10.112487.03019410.9832
10.112488.03025611.1426
10.112489.03031811.0771
10.112490.03038010.9515
10.112491.03044210.9617
10.1007492.03050410.9523
10.1007493.03056610.8797
10.1007494.03062810.9816
10.1007495.03069010.9526
10.1007496.03075211.0078
10.1007497.03081411.1568
10.1007498.03087610.9862
10.1007499.03093811.0537
10.0953500.03100011.0418

Framework versions

  • Transformers 4.20.1
  • Pytorch 1.11.0
  • Datasets 2.1.0
  • Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForMaskedLM
Ревизия весов
caf52b8

0 моделей

    Создать бенчмарк