/ Модель
Каталог

Характеристики

Контекст
514 токенов
Параметры
152 млн
Лицензия
MIT
Архитектура
roberta · dense
Базовая модель
robbert-2023-dutch-base
Опубликована
6 апр 2024

Ссылки

Hugging Face

robbert-2023-dutch-base-ft-nlp-xxl

helena-balabin
Заполнение пропусковТекст → текст3 профессии

Дообученная нидерландская RoBERTa для предсказания пропущенных слов в тексте.

157скачиваний за 30 дней0лайковвеса обновлены6 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

helena-balabin/robbert-2023-dutch-base-ft-nlp-xxl — дообученная модель RoBERTa, основанная на DTAI-KULeuven/robbert-2023-dutch-base. Она предназначена для задачи fill-mask: предсказывает пропущенный токен в тексте на нидерландском языке. Модель содержит 151,6 млн параметров, использует архитектуру RobertaForMaskedLM и принимает последовательности длиной до 514 токенов.

Модель дообучена на неизвестном наборе данных; в карточке приведено значение функции потерь 2,0118 на оценочной выборке, но описание назначения и ограничений дообучения отсутствует. Базовая модель обучена на корпусе OSCAR 2023. Репозиторий распространяется в формате safetensors по лицензии MIT.

Сценарии применения

  • подстановка пропущенного слова в нидерландском предложении
  • получение вариантов продолжения с пропущенным токеном
  • анализ языковых представлений нидерландского текста
  • эксперименты с маскированным языковым моделированием на нидерландском

Ограничения

Данные для дообучения неизвестны, а описание назначения и ограничений дообученной модели отсутствует. Значение loss 2,0118 приведено без дополнительных сведений о методике оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

robbert-2023-dutch-base-ft-nlp-xxl

This model is a fine-tuned version of DTAI-KULeuven/robbert-2023-dutch-base on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 2.0118

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • training_steps: 2000

Training results

Training LossEpochStepValidation Loss
2.83260.06102.6788
2.75330.12202.5468
2.46360.19302.5083
2.68910.25402.4572
2.52850.31502.4016
2.51020.37602.4493
2.50210.43702.3338
2.46230.5802.3530
2.38830.56902.3881
2.47730.621002.3410
2.43890.681102.3148
2.35770.751202.3326
2.34970.811302.3429
2.38060.871402.2916
2.4330.931502.2801
2.47030.991602.2703
2.16231.061702.3148
2.32731.121802.2596
2.20541.181902.1914
2.31151.242002.2161
2.1091.32102.1979
2.3751.372202.2155
2.28161.432302.1992
2.37641.492402.1825
2.12291.552502.2547
2.17611.612602.1983
2.22851.682702.2590
2.30791.742802.1666
2.29631.82902.2389
2.34711.863002.1583
2.20311.933102.2457
2.30731.993202.2102
2.18132.053302.1898
2.19582.113402.2095
2.22392.173502.2107
2.10242.243602.2168
2.18952.33702.1944
2.16312.363802.2287
2.12582.423902.1830
2.2362.484002.1641
2.14932.554102.1377
2.13682.614202.1640
2.19322.674302.2102
2.20712.734402.1461
2.20592.84502.2398
2.20882.864602.1055
2.20022.924702.2272
2.18922.984802.1622
2.13823.044902.1392
2.07243.115002.1669
2.093.175102.1585
2.13983.235202.1565
2.10233.295302.1532
1.96283.355402.1312
2.12943.425502.1337
2.07343.485602.1854
2.05033.545702.1351
1.97273.65802.1715
2.06523.665902.1348
1.99423.736002.2555
2.00173.796102.1412
2.09623.856202.1442
2.12123.916302.1866
2.02763.986402.0766
2.07264.046502.0432
2.05544.16602.1925
1.98654.166702.1344
1.96764.226802.1379
2.03554.296902.1465
1.99824.357002.0861
2.03074.417102.1359
2.10144.477202.0703
1.96084.537302.0898
2.10684.67402.2018
2.00994.667502.1502
2.07154.727602.0592
2.12724.787702.1833
2.10694.847802.0944
1.964.917902.1344
2.06134.978002.1366
1.92975.038102.0956
2.01725.098202.1792
2.01345.168302.0792
1.98675.228402.1058
1.93915.288502.1820
1.88025.348602.1274
1.97895.48702.0956
2.06655.478802.1209
2.09095.538902.1557
1.92615.599002.0976
2.02465.659102.1127
1.97275.719202.1670
1.84295.789302.0906
2.0015.849402.0951
1.93635.99502.0593
2.00335.969602.0947
1.98686.029702.0643
1.90116.099802.1598
1.95626.159902.0961
1.89236.2110002.1436
1.90666.2710102.0773
1.98056.3410202.1261
1.8296.410302.0962
1.87456.4610402.0881
1.85186.5210502.0200
1.91646.5810602.0809
1.79686.6510702.1169
1.90296.7110802.0290
1.93836.7710902.0806
1.83756.8311002.0816
1.82896.8911102.0660
1.8946.9611202.0229
1.8437.0211302.1239
1.85157.0811402.0687
1.88997.1411502.0832
1.9037.211602.0882
1.85057.2711702.0213
1.81557.3311802.0808
1.93557.3911902.0649
1.82137.4512002.0817
1.98977.5212102.1589
1.80447.5812202.1288
1.93477.6412302.0927
1.93117.712402.0180
1.9227.7612502.0163
1.85727.8312602.0632
1.88587.8912702.0255
1.86927.9512802.0807
1.94868.0112902.0829
1.81848.0713002.0721
1.8848.1413102.0809
1.79288.213202.0462
1.83378.2613302.0486
1.84438.3213402.0113
1.85468.3913502.0348
1.93598.4513601.9960
1.8748.5113702.0198
1.93668.5713802.1198
1.80818.6313902.0964
1.86558.714002.0571
1.83578.7614102.0432
1.84098.8214202.0679
1.77858.8814302.0930
1.7668.9414402.1041
1.85429.0114502.0035
1.74039.0714602.0662
1.81099.1314701.9674
1.81919.1914802.0274
1.77139.2514902.1420
1.76289.3215002.0899
1.82739.3815101.9969
1.77869.4415202.0089
1.76189.515302.0572
1.82479.5715402.0710
1.73639.6315501.9818
1.83749.6915602.0177
1.88389.7515702.0528
1.7099.8115801.9890
1.87439.8815902.0105
1.8559.9416001.9971
1.865910.016102.0052
1.817210.0616202.0004
1.753710.1216302.1136
1.782210.1916402.0685
1.785510.2516502.0326
1.782510.3116602.0402
1.739110.3716702.0100
1.75510.4316802.0587
1.764910.516902.0548
1.774210.5617002.0025
1.840710.6217102.0164
1.82810.6817201.9975
1.748710.7517302.0598
1.752110.8117402.0318
1.725310.8717502.1049
1.724510.9317602.0569
1.809310.9917701.9909
1.696711.0617802.0660
1.727411.1217902.0615
1.90111.1818002.0775
1.766711.2418102.0470
1.817311.318202.0141
1.684111.3718302.0541
1.737411.4318402.0526
1.730711.4918502.0060
1.777811.5518602.0601
1.765611.6118702.0358
1.716711.6818802.1360
1.711.7418902.0746
1.83311.819002.0382
1.707611.8619101.9974
1.749111.9319202.0558
1.791211.9919302.0598
1.765412.0519402.0048
1.661212.1119502.0457
1.785612.1719602.0841
1.802612.2419702.1041
1.69612.319802.0776
1.790112.3619902.0176
1.788112.4220002.0118

Framework versions

  • Transformers 4.38.2
  • Pytorch 2.1.1+cu121
  • Datasets 2.15.0
  • Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
bc3d3b0

0 моделей

    Создать бенчмарк