Дообученная на CoLA модель ALBERT классифицирует предложения по грамматической приемлемости.
156скачиваний за 30 дней0лайковвеса обновлены6 июл 2020
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
TextAttack albert-base-v2-CoLA — модель классификации текста на базе ALBERT, опубликованная TextAttack и дообученная на задаче CoLA с использованием glue dataset. Она предназначена для оценки грамматической приемлемости предложений: например, для автоматической проверки корректности формулировок или экспериментов с классификацией языковых данных. Модель содержит 136,3 млн параметров, использует архитектуру AlbertForSequenceClassification и принимает последовательности длиной до 512 токенов; при дообучении максимальная длина составляла 128 токенов.
По README, лучшая точность на проверочной выборке составила около 82,5%. Доступны веса PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
Сценарии применения
оценка грамматической приемлемости предложений
автоматическая проверка грамматической корректности текста
классификация предложений в экспериментах по обработке языка
Ограничения
Модель обучалась для классификации грамматической приемлемости на CoLA и не предназначена для универсальной проверки фактов или исправления текста. Указанная в README точность измерена на eval-наборе; лицензия в предоставленных данных не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
TextAttack Model Cardand the glue dataset loaded using the nlp library. The model was fine-tuned
for 5 epochs with a batch size of 32, a learning
rate of 3e-05, and a maximum sequence length of 128.
Since this was a classification task, the model was trained with a cross-entropy loss function.
The best score the model achieved on this task was 0.8245445829338447, as measured by the
eval set accuracy, found after 2 epochs.