Дообученная на CoLA модель RoBERTa для определения грамматической приемлемости английских предложений.
18 713скачиваний за 30 дней18лайковвеса обновлены20 мая 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
textattack/roberta-base-CoLA — модель классификации текста на основе RoBERTa, дообученная командой TextAttack на задаче CoLA (Corpus of Linguistic Acceptability). Она определяет, является ли английское предложение грамматически приемлемым. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов; при дообучении использовалась максимальная длина 128 токенов.
Модель подходит для оценки грамматической приемлемости отдельных предложений и экспериментов с классификацией текста. В README указаны пять эпох дообучения, размер пакета 32 и скорость обучения 2e-5; лучшая точность на оценочном наборе составила около 0,850 после первой эпохи. Доступны веса PyTorch и Flax. Лицензия в предоставленных данных не указана.
Сценарии применения
проверка грамматической приемлемости английских предложений
оценка грамматической корректности фраз
классификация предложений для лингвистических экспериментов
Ограничения
Оценка точности около 0,850 приведена для оценочного набора CoLA и не гарантирует аналогичного качества на других данных. Модель рассчитана на английские предложения и не предназначена для исправления текста.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
TextAttack Model Cardand the glue dataset loaded using the nlp library. The model was fine-tuned
for 5 epochs with a batch size of 32, a learning
rate of 2e-05, and a maximum sequence length of 128.
Since this was a classification task, the model was trained with a cross-entropy loss function.
The best score the model achieved on this task was 0.850431447746884, as measured by the
eval set accuracy, found after 1 epoch.