Дообученная MiniLM-модель определяет, написан ли ответ из набора HC3 человеком или ChatGPT.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
HW1 HC3 Detector — модель Chengwei-Shen для классификации ответов из датасета HC3 как написанных человеком или ChatGPT. Это дообученная для учебного задания модель на базе sentence-transformers/all-MiniLM-L6-v2 с архитектурой BERT для классификации последовательностей; размер составляет 25,9 млн параметров. Модель принимает текст длиной до 512 токенов и выдаёт один из двух классов.
Модель предназначена для экспериментов с обнаружением текста ChatGPT на ответах HC3. В README указана точность 0,9914 на тестовом наборе с фиксированными разбиениями; этот результат относится к данному набору данных и не гарантирует такое же качество на других текстах. Доступ к модели представлен в формате safetensors; лицензия в доступных сведениях не приведена.
Оценка 0,9914 получена на тестовом разбиении HC3 и не подтверждает аналогичное качество на других темах, моделях или данных. Максимальная длина последовательности в метаданных — 512 токенов; лицензия в доступных сведениях не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is my fine-tuned model for Homework 1.
The model classifies HC3 answers as:
Base model:
sentence-transformers/all-MiniLM-L6-v2
Results:
Training settings:
I used the fixed dataset splits provided in the notebook.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…