Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: roberta · dense
Опубликована: 6 июл 2022

Ссылки

Hugging Face

CodeGeneration

SushantGautam

Заполнение пропусковТекст → текст

Дообученная RoBERTa для предсказания замаскированных токенов, в том числе в экспериментах с кодом.

118скачиваний за 30 дней0лайковвеса обновлены7 июл 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SushantGautam/CodeGeneration — модель RoBERTa, дообученная на неизвестном наборе данных. Она содержит 151,8 млн параметров, принимает текст с замаскированными фрагментами и предсказывает пропущенные токены; максимальная длина контекста — 514 токенов. В карточке указаны результаты оценки: loss 3,5020 и accuracy 0,4444.

Модель помечена как предназначенная для генерации кода, однако README не описывает её устройство, данные обучения или конкретные сценарии применения. Метаданные классифицируют её как fill-mask, поэтому её можно использовать для заполнения пропусков в тексте, в том числе для экспериментов с кодом. Модель распространяется по лицензии MIT.

Сценарии применения

предсказание пропущенного токена в коде
эксперименты с заполнением масок в текстовых фрагментах
оценка заполнения масок на собственных данных

Ограничения

Набор данных обучения неизвестен, а README не раскрывает назначение и ограничения модели. Указанная accuracy 0,4444 получена на оценочном наборе, состав которого не описан.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CodeGeneration

This model is a fine-tuned version of roberta-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 3.5020
Accuracy: 0.4444

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10.0

Training results

Framework versions

Transformers 4.21.0.dev0
Pytorch 1.9.0+cu111
Datasets 2.3.2
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 3738e8e