Русскоязычная BERT-модель определяет, является ли текст нормальным, несвязным или бессмысленным.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Den4ikAI/nonsense_gibberish_detector — русскоязычная модель классификации текста от Den4ikAI, построенная на архитектуре BERT и обученная распознавать три категории: нормальный текст, текст с ошибками в склонениях или несвязным набором слов, а также бессмысленный набор символов или слов. Её можно применять для первичной проверки качества пользовательского текста и выявления бессвязных или искажённых сообщений.
Модель содержит 140,9 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт метку класса. В карточке указан датасет Den4ikAI/gibberish_dataset. Модель распространяется по лицензии Apache-2.0. Оценки точности и подробные сведения о том, как она обобщает за пределами обучающих данных, в предоставленной карточке не описаны.
Карточка не приводит метрики качества и не описывает надёжность на текстах, отличающихся от обучающего датасета. Контекст ограничен 512 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Модель обучена классифицировать текст на 3 класса:
Пример кода инференса:
from transformers import pipeline
classifier = pipeline("text-classification", model="Den4ikAI/nonsense_gibberish_detector")
while 1:
print(classifier(input(":> ")))
Blogpost: link
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…