/ Модель

Характеристики

Контекст
514 токенов
Параметры
152 млн
Архитектура
roberta · dense
Опубликована
19 янв 2023

chatgpt-qa-detector-roberta

Классификация текстаТекст → label3 профессии

Классификатор RoBERTa для определения, был ли ответ на вопрос создан ChatGPT.

98скачиваний за 30 дней1лайквеса обновлены19 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hello-SimpleAI/chatgpt-qa-detector-roberta — классификатор на базе RoBERTa, разработанный Hello-SimpleAI для определения того, был ли ответ на вопрос создан ChatGPT. Модель обучена на парах «вопрос—ответ» из полного отфильтрованного набора Hello-SimpleAI/HC3 и рассчитана на один проход обучения по этим данным.

Модель содержит 151,8 млн параметров, использует архитектуру RobertaForSequenceClassification и принимает текст длиной до 514 токенов. Она подходит для анализа ответов на вопросы и сравнительных исследований обнаружения текста, созданного ChatGPT. Карточка ссылается на статью arXiv:2301.07597 и проект Hello-SimpleAI по обнаружению ChatGPT; лицензия в предоставленных данных не указана.

Сценарии применения

  • проверка ответа на вопрос на признаки генерации ChatGPT
  • сравнение человеческих и сгенерированных ответов
  • анализ пар «вопрос—ответ» из набора HC3

Ограничения

Обучение проведено на данных HC3 и только в течение одной эпохи, поэтому качество на других тематиках и типах текста может отличаться. Длина входа ограничена 514 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Hello-SimpleAI/chatgpt-qa-detector-roberta

This model is trained on question-answer pairs of the filtered full-text from Hello-SimpleAI/HC3.

More details refer to arxiv: 2301.07597 and Gtihub project Hello-SimpleAI/chatgpt-comparison-detection.

The base checkpoint is roberta-base. We train it with all Hello-SimpleAI/HC3 data (without held-out) for 1 epoch.

(1-epoch is consistent with the experiments in our paper.)

Citation

Checkout this papaer arxiv: 2301.07597

@article{guo-etal-2023-hc3,
    title = "How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection",
    author = "Guo, Biyang  and
      Zhang, Xin  and
      Wang, Ziyuan  and
      Jiang, Minqi  and
      Nie, Jinran  and
      Ding, Yuxuan  and
      Yue, Jianwei  and
      Wu, Yupeng",
    journal={arXiv preprint arxiv:2301.07597}
    year = "2023",
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
25aad95

0 моделей