/ Модель

Характеристики

Контекст
514 токенов
Параметры
152 млн
Архитектура
roberta · dense
Опубликована
18 янв 2023

chatgpt-detector-roberta

Классификация текстаТекст → label3 профессии

Англоязычный классификатор RoBERTa для определения текстов, созданных ChatGPT, обученный на ответах из HC3.

34 284скачиваний за 30 дней64лайкавеса обновлены19 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hello-SimpleAI разработала классификатор на базе RoBERTa для определения, был ли текст ответа создан ChatGPT. Модель дообучена на ответах из набора Hello-SimpleAI/HC3: использовались как полные тексты, так и отдельные предложения; обучение длилось одну эпоху.

Модель содержит 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Она предназначена для классификации англоязычных текстов и может применяться для анализа ответов и изучения различий между текстами, созданными ChatGPT и людьми. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

Сценарии применения

  • проверка, мог ли ответ быть создан ChatGPT
  • анализ происхождения англоязычных ответов
  • сравнение ответов ChatGPT и людей
  • классификация отдельных предложений на предмет авторства ChatGPT

Ограничения

Модель обучена на ответах HC3 и может хуже работать на текстах других жанров, доменов или генеративных моделей. Контекст ограничен 514 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Hello-SimpleAI/chatgpt-detector-roberta

This model is trained on the mix of full-text and splitted sentences of answers from Hello-SimpleAI/HC3.

More details refer to arxiv: 2301.07597 and Gtihub project Hello-SimpleAI/chatgpt-comparison-detection.

The base checkpoint is roberta-base. We train it with all Hello-SimpleAI/HC3 data (without held-out) for 1 epoch.

(1-epoch is consistent with the experiments in our paper.)

Citation

Checkout this papaer arxiv: 2301.07597

@article{guo-etal-2023-hc3,
    title = "How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection",
    author = "Guo, Biyang  and
      Zhang, Xin  and
      Wang, Ziyuan  and
      Jiang, Minqi  and
      Nie, Jinran  and
      Ding, Yuxuan  and
      Yue, Jianwei  and
      Wu, Yupeng",
    journal={arXiv preprint arxiv:2301.07597}
    year = "2023",
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
d2b342c

0 моделей