Классификатор на базе ruRoberta-large определяет языковую приемлемость русских предложений по данным RuCoLa.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ruRoberta-large-RuCoLa-v1 — модель классификации предложений на русском языке, разработанная на основе ruRoberta-large и обученная на наборе данных RuCoLa. Она определяет, является ли предложение языково приемлемым и беглым, и подходит для автоматической проверки приемлемости русских фраз и сравнительного анализа вариантов. Модель использует архитектуру RoBERTa с классификационной головой, содержит 454,1 млн параметров и рассчитана на контекст до 514 токенов. В README указана точность 0,81 на тесте; для этой версии не приведены дополнительные сведения об условиях лицензирования.
Модель решает узкую задачу оценки приемлемости предложений на русском языке; указанная точность 0,81 относится к тесту RuCoLa и не гарантирует качество на других данных. Контекст ограничен 514 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a ruRoberta-large model trained on the RuCoLa dataset. It can be used to classify Russian sentences into fluent or non-fluent ones, where fluency is understood as linguistic acceptability.
Training notebook: task_oriented_TST/fluency/rucola_classifier_v1.ipynb (in a private repo).
Training parameters:
lr=2e-6batch_size=32epochs=10clip_grad_norm=1.0Test accuracy (on the leaderboard this model is submitted as ruroberta-base-cased-rucola-v1): 0.81.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…