Дообученная RuRoBERTa-large классифицирует русские предложения по лингвистической приемлемости на RuCoLA.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
RussianNLP/ruRoBERTa-large-rucola — дообученная модель RuRoBERTa-large от RussianNLP для классификации лингвистической приемлемости на бенчмарке RuCoLA. Она оценивает, является ли русское предложение грамматически приемлемым, и подходит для экспериментов и автоматической разметки предложений в задачах лингвистики и обработки русского языка.
Модель построена на архитектуре RoBERTa и содержит 454,1 млн параметров. Она принимает текст, выдаёт классовую метку и рассчитана на контекст до 514 токенов. Для дообучения использовались пять эпох, AdamW, пакет размером 32 и ранняя остановка по MCC на валидационной выборке.
Модель распространяется по лицензии Apache-2.0. Её специализация — оценка приемлемости предложений в рамках RuCoLA; карточка не подтверждает качество на иных наборах данных или для более широких задач классификации.
Модель специализирована на классификации лингвистической приемлемости в RuCoLA; перенос на другие наборы данных и задачи в карточке не подтверждён. Контекст ограничен 514 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a finetuned version of RuRoBERTa-large for the task of linguistic acceptability classification on the RuCoLA benchmark.
The hyperparameters used for finetuning are as follows:
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…