/ Модель
Каталог

Характеристики

Контекст
514 токенов
Параметры
152 млн
Лицензия
MIT
Архитектура
roberta · dense
Опубликована
6 апр 2024

Ссылки

Hugging Face

amazon_domain_pretrained_model

ltuzova
Заполнение пропусковТекст → текст3 профессии

Дообученная RoBERTa для восстановления замаскированных токенов в тексте.

9скачиваний за 30 дней0лайковвеса обновлены10 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ltuzova/amazon_domain_pretrained_model — модель RoBERTa, дообученная разработчиком на основе roberta-base для заполнения пропусков в тексте. Она предназначена для подстановки наиболее подходящих токенов вместо маскированных фрагментов; карточка сообщает значение loss 1,4165 на оценочном наборе. Модель содержит 151,8 млн параметров, использует архитектуру RobertaForMaskedLM и принимает последовательности длиной до 514 токенов.

Модель может применяться для восстановления скрытых слов и анализа контекста в текстах об Amazon и товарах. В карточке не описаны обучающие данные, поэтому специализацию на конкретном домене нельзя подтвердить. Распространяется в формате PyTorch по лицензии MIT.

Сценарии применения

  • восстановление пропущенных слов в тексте
  • подбор контекстуально подходящего токена вместо маски
  • анализ контекста в текстах о товарах Amazon

Ограничения

Карточка не раскрывает обучающие данные и ограничения применения; приведён только loss 1,4165 на оценочном наборе. Поддерживаемые языки не обозначены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейIV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934моделиI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

amazon_domain_pretrained_model

This model is a fine-tuned version of roberta-base on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 1.4165

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0005
  • train_batch_size: 32
  • eval_batch_size: 64
  • seed: 42
  • gradient_accumulation_steps: 64
  • total_train_batch_size: 2048
  • optimizer: Adam with betas=(0.9,0.98) and epsilon=1e-06
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.06
  • num_epochs: 1

Training results

Training LossEpochStepValidation Loss
No log0.0101.6922
No log0.01201.6359
No log0.01301.6075
No log0.02401.5957
No log0.02501.5806
No log0.03601.5801
No log0.03701.5776
No log0.04801.5719
No log0.04901.5710
No log0.051001.5837
No log0.051101.5795
No log0.061201.5760
No log0.061301.5867
No log0.071401.5892
No log0.071501.5853
No log0.081601.5803
No log0.081701.5909
No log0.091801.5810
No log0.091901.5763
No log0.12001.5805
No log0.12101.5725
No log0.12201.5938
No log0.112301.5735
No log0.112401.5735
No log0.122501.5692
No log0.122601.5634
No log0.132701.5649
No log0.132801.5660
No log0.142901.5695
No log0.143001.5689
No log0.153101.5648
No log0.153201.5565
No log0.163301.5622
No log0.163401.5580
No log0.173501.5516
No log0.173601.5537
No log0.183701.5537
No log0.183801.5506
No log0.193901.5543
No log0.194001.5447
No log0.194101.5471
No log0.24201.5459
No log0.24301.5480
No log0.214401.5313
No log0.214501.5353
No log0.224601.5423
No log0.224701.5408
No log0.234801.5399
No log0.234901.5330
1.68370.245001.5389
1.68370.245101.5360
1.68370.255201.5244
1.68370.255301.5230
1.68370.265401.5348
1.68370.265501.5223
1.68370.275601.5165
1.68370.275701.5288
1.68370.285801.5195
1.68370.285901.5208
1.68370.296001.5217
1.68370.296101.5249
1.68370.296201.5138
1.68370.36301.5154
1.68370.36401.5194
1.68370.316501.5206
1.68370.316601.5178
1.68370.326701.5195
1.68370.326801.5134
1.68370.336901.5118
1.68370.337001.5135
1.68370.347101.5178
1.68370.347201.5106
1.68370.357301.5077
1.68370.357401.5065
1.68370.367501.5076
1.68370.367601.5003
1.68370.377701.5049
1.68370.377801.5094
1.68370.387901.5022
1.68370.388001.4966
1.68370.388101.5028
1.68370.398201.4946
1.68370.398301.5052
1.68370.48401.4997
1.68370.48501.5073
1.68370.418601.4915
1.68370.418701.5003
1.68370.428801.4918
1.68370.428901.4994
1.68370.439001.4975
1.68370.439101.4993
1.68370.449201.4931
1.68370.449301.4962
1.68370.459401.4947
1.68370.459501.4911
1.68370.469601.4918
1.68370.469701.4893
1.68370.479801.4866
1.68370.479901.4845
1.60860.4810001.4829
1.60860.4810101.4847
1.60860.4810201.4801
1.60860.4910301.4831
1.60860.4910401.4860
1.60860.510501.4832
1.60860.510601.4814
1.60860.5110701.4825
1.60860.5110801.4780
1.60860.5210901.4742
1.60860.5211001.4821
1.60860.5311101.4770
1.60860.5311201.4730
1.60860.5411301.4739
1.60860.5411401.4718
1.60860.5511501.4706
1.60860.5511601.4729
1.60860.5611701.4712
1.60860.5611801.4699
1.60860.5711901.4659
1.60860.5712001.4685
1.60860.5812101.4721
1.60860.5812201.4716
1.60860.5812301.4604
1.60860.5912401.4619
1.60860.5912501.4716
1.60860.612601.4643
1.60860.612701.4640
1.60860.6112801.4616
1.60860.6112901.4638
1.60860.6213001.4605
1.60860.6213101.4634
1.60860.6313201.4580
1.60860.6313301.4591
1.60860.6413401.4597
1.60860.6413501.4585
1.60860.6513601.4555
1.60860.6513701.4509
1.60860.6613801.4591
1.60860.6613901.4525
1.60860.6714001.4479
1.60860.6714101.4511
1.60860.6714201.4545
1.60860.6814301.4542
1.60860.6814401.4469
1.60860.6914501.4525
1.60860.6914601.4452
1.60860.714701.4509
1.60860.714801.4524
1.60860.7114901.4470
1.56170.7115001.4479
1.56170.7215101.4444
1.56170.7215201.4485
1.56170.7315301.4433
1.56170.7315401.4380
1.56170.7415501.4387
1.56170.7415601.4383
1.56170.7515701.4438
1.56170.7515801.4338
1.56170.7615901.4446
1.56170.7616001.4376
1.56170.7716101.4407
1.56170.7716201.4384
1.56170.7716301.4354
1.56170.7816401.4344
1.56170.7816501.4335
1.56170.7916601.4364
1.56170.7916701.4342
1.56170.816801.4319
1.56170.816901.4359
1.56170.8117001.4389
1.56170.8117101.4352
1.56170.8217201.4324
1.56170.8217301.4330
1.56170.8317401.4281
1.56170.8317501.4298
1.56170.8417601.4243
1.56170.8417701.4277
1.56170.8517801.4253
1.56170.8517901.4300
1.56170.8618001.4272
1.56170.8618101.4284
1.56170.8618201.4293
1.56170.8718301.4242
1.56170.8718401.4267
1.56170.8818501.4240
1.56170.8818601.4193
1.56170.8918701.4273
1.56170.8918801.4174
1.56170.918901.4199
1.56170.919001.4239
1.56170.9119101.4240
1.56170.9119201.4201
1.56170.9219301.4161
1.56170.9219401.4222
1.56170.9319501.4102
1.56170.9319601.4177
1.56170.9419701.4157
1.56170.9419801.4100
1.56170.9519901.4194
1.52150.9520001.4232
1.52150.9620101.4116
1.52150.9620201.4243
1.52150.9620301.4151
1.52150.9720401.4202
1.52150.9720501.4129
1.52150.9820601.4138
1.52150.9820701.4097
1.52150.9920801.4143
1.52150.9920901.4084
1.52151.021001.4132

Framework versions

  • Transformers 4.30.2
  • Pytorch 1.12.0+cu113
  • Datasets 2.13.2
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
b1ca9f1

0 моделей

    Создать бенчмарк