/ Модель

Характеристики

Контекст
512 токенов
Параметры
129 млн
Архитектура
bert · dense
Опубликована
18 янв 2023

chatgpt-detector-roberta-chinese

Классификация текстаТекст → label3 профессии

Китайскоязычный классификатор, оценивающий, написан ли ответ ChatGPT или человеком.

8 212скачиваний за 30 дней26лайковвеса обновлены19 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hello-SimpleAI разработала китайскоязычную модель классификации текста для определения, был ли ответ написан ChatGPT или человеком. Это дообученный классификатор на архитектуре BERT, основанный на чекпойнте hfl/chinese-roberta-wwm-ext; при обучении использовались полные ответы и отдельные предложения из набора Hello-SimpleAI/HC3-Chinese, обучение длилось два эпоха.

Модель подходит для анализа китайских ответов и оценки их происхождения в задачах сравнения текстов, модерации или исследовательского анализа генерации ИИ. Она принимает текст и выдаёт метку классификации. Размер составляет 129,5 млн параметров, контекст — до 512 токенов. Модель обучена на всех данных HC3-Chinese без отложенной выборки, поэтому результаты могут хуже переноситься на другие источники текстов и жанры. Формат весов — PyTorch; сведения о лицензии в предоставленных материалах отсутствуют.

Сценарии применения

  • определение ответов ChatGPT в китайскоязычных текстах
  • проверка происхождения ответов на вопросы
  • анализ текстов, созданных человеком и ИИ
  • классификация китайских ответов для исследований генеративного ИИ

Ограничения

Обучение проводилось на всех данных HC3-Chinese без отложенной выборки, поэтому качество на независимых источниках и других жанрах текстов может отличаться. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Hello-SimpleAI/chatgpt-detector-roberta-chinese

This model is trained on the mix of full-text and splitted sentences of answers from Hello-SimpleAI/HC3-Chinese.

More details refer to arxiv: 2301.07597 and Gtihub project Hello-SimpleAI/chatgpt-comparison-detection.

The base checkpoint is hfl/chinese-roberta-wwm-ext. We train it with all Hello-SimpleAI/HC3-Chinese data (without held-out) for 2 epochs.

(2-epoch is consistent with the experiments in our paper.)

Citation

Checkout this papaer arxiv: 2301.07597

@article{guo-etal-2023-hc3,
    title = "How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection",
    author = "Guo, Biyang  and
      Zhang, Xin  and
      Wang, Ziyuan  and
      Jiang, Minqi  and
      Nie, Jinran  and
      Ding, Yuxuan  and
      Yue, Jianwei  and
      Wu, Yupeng",
    journal={arXiv preprint arxiv:2301.07597}
    year = "2023",
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
2f0f5f2

0 моделей