/ Модель
Каталог

Характеристики

Контекст
514 токенов
Параметры
95,2 млн
Лицензия
Apache 2.0
Архитектура
roberta · dense
Базовая модель
distilroberta-base
Опубликована
10 ноя 2023

Ссылки

Hugging Face

distilroberta-base-rb156k-ep40

judy93536
Заполнение пропусковТекст → текст

Дообученная модель RoBERTa для предсказания пропущенных слов и токенов в тексте.

7скачиваний за 30 дней0лайковвеса обновлены13 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

distilroberta-base-rb156k-ep40 — модель семейства RoBERTa, дообученная автором judy93536 на базе distilroberta-base. Она предназначена для заполнения пропусков в тексте: модель предсказывает вероятные слова или токены на месте замаскированного фрагмента. Модель содержит 95,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов.

В README приведено значение потерь 1,2509 на оценочной выборке, но набор данных и подробности обучения не описаны. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Сценарии применения

  • подстановка вероятного слова вместо маски в предложении
  • оценка вариантов заполнения пропуска в тексте
  • демонстрация работы masked language modeling
  • создание кандидатов для восстановления повреждённого текста

Ограничения

Данные обучения и поддерживаемые языки не описаны; приведено только значение потерь 1,2509 без подробностей оценивания. Назначение модели ограничено предсказанием замаскированных токенов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilroberta-base-rb156k

This model is a fine-tuned version of distilroberta-base on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.2509

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 7.2115e-05
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.12
  • num_epochs: 40
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation Loss
1.7791.089941.6188
1.68482.0179881.5515
1.63763.0269821.5219
1.62084.0359761.5021
1.60255.0449701.4949
1.57316.0539641.4753
1.55127.0629581.4579
1.53058.0719521.4457
1.51599.0809461.4308
1.496710.0899401.4212
1.476111.0989341.4081
1.460712.01079281.3979
1.451213.01169221.3896
1.439414.01259161.3816
1.43115.01349101.3755
1.422616.01439041.3639
1.403217.01528981.3608
1.399218.01618921.3544
1.390919.01708861.3446
1.380920.01798801.3428
1.370121.01888741.3320
1.357422.01978681.3276
1.358623.02068621.3216
1.352124.02158561.3180
1.337125.02248501.3134
1.333426.02338441.3083
1.326127.02428381.3042
1.31628.02518321.2971
1.306129.02608261.2931
1.305730.02698201.2903
1.299731.02788141.2802
1.28832.02878081.2784
1.287633.02968021.2737
1.277834.03057961.2703
1.269535.03147901.2636
1.26836.03237841.2597
1.260637.03327781.2583
1.25438.03417721.2547
1.251639.03507661.2491
1.250640.03597601.2501

Framework versions

  • Transformers 4.35.0
  • Pytorch 2.1.0+cu118
  • Datasets 2.14.6
  • Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
e83ebf3

0 моделей

    Создать бенчмарк