/ Модель

Характеристики

Контекст
514 токенов
Параметры
95,2 млн
Лицензия
Своя лицензия
Архитектура
roberta · dense
Опубликована
2 мар 2022

distilroberta-clickbait

Классификация текстаТекст → label3 профессии

Дообученная модель RoBERTa для выявления кликбейта в заголовках.

2 009скачиваний за 30 дней1лайквеса обновлены8 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

distilroberta-clickbait — модель классификации заголовков на кликбейт и обычные заголовки, созданная дообучением distilroberta-base на размеченных данных. Она предназначена для автоматической проверки новостных и других публикационных заголовков. В метаданных указаны архитектура RoBERTa, около 95,2 млн параметров и контекст до 514 токенов; модель принимает текст и выдаёт метку класса.

В README сообщается, что обучение использовало 32 тысячи заголовков из Kaggle с метками «кликбейт» и «не кликбейт», а точность на оценочном наборе составила 0,9963. Этот результат относится к указанному набору и не гарантирует такое же качество на заголовках из других источников. Репозиторий содержит веса PyTorch; лицензия обозначена как other, конкретные условия использования по имеющимся данным определить нельзя.

Сценарии применения

  • фильтрация кликбейтных заголовков в новостной ленте
  • проверка заголовков перед публикацией
  • разметка корпуса заголовков по наличию кликбейта

Ограничения

Качество вне оценочного набора из README не подтверждено; датасет и результаты могут не отражать заголовки других источников. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilroberta-clickbait

This model is a fine-tuned version of distilroberta-base on a dataset of headlines. It achieves the following results on the evaluation set:

  • Loss: 0.0268
  • Acc: 0.9963

Training and evaluation data

The following data sources were used:

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 12345
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 16
  • num_epochs: 20
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation LossAcc
0.01951.09810.01920.9954
0.00262.019620.01720.9963
0.00313.029430.02750.9945
0.00034.039240.02680.9963

Framework versions

  • Transformers 4.11.3
  • Pytorch 1.10.1
  • Datasets 1.17.0
  • Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
294a3fc

0 моделей