Дообученная англоязычная RoBERTa для классификации текстов в задаче DAIGT, в том числе для различения текстов ИИ и человека.
151скачиваний за 30 дней2лайкавеса обновлены22 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
zeyadusf/roberta-DAIGT-kaggle — англоязычная модель классификации текста, созданная дообучением FacebookAI/roberta-base на датасете zeyadusf/daigt. Она предназначена для бинарного распознавания текстов двух классов; по названию датасета и модели её предполагаемое применение — определение текстов, связанных с задачей DAIGT в соревновании Kaggle, включая различение текстов, созданных ИИ, и написанных человеком.
Модель построена на архитектуре RoBERTa для классификации последовательностей, содержит 151,8 млн параметров и принимает контекст длиной до 514 токенов. В README приведены метрики оценки на наборе из 2730 примеров: accuracy и F1 около 0,994. Это результаты указанного тестирования, они не гарантируют аналогичного качества на других данных. Лицензия — Apache-2.0.
Сценарии применения
определение вероятного авторства текста — ИИ или человек
классификация текстов для экспериментов DAIGT
проверка англоязычных текстов на наборе данных, близком к DAIGT
Ограничения
Заявленные высокие метрики получены на конкретном тестовом наборе и не подтверждают такое же качество на текстах из других источников. Ограничение контекста — 514 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I used it when I tested manual the model and it gave good results when cleaning.
import re
import html
def clean_text(text):
# Remove HTML tags
clean = re.compile('<.*?>')
text = re.sub(clean, '', text)
# Replace HTML entities with their corresponding characters
text = html.unescape(text)
# Remove extra whitespace and normalize spaces
text = re.sub(r'\s+', ' ', text).strip()
text = re.sub(r'[^a-zA-Z0-9\s]', '', text)
return re.sub("\s\s+", " ", text)
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
