/ Модель
Каталог

Характеристики

Контекст
514 токенов
Параметры
659 млн
Лицензия
MIT
Архитектура
xlm-roberta · dense
Базовая модель
xlm-roberta-large
Опубликована
8 янв 2024

Ссылки

Hugging Face

XLM_RoBERTa-Clickbait-Detection-new

christinacdl
Классификация текстаТекст → label3 профессии

Многоязычная модель на базе XLM-RoBERTa для классификации текстовых заголовков и выявления кликбейта.

311скачиваний за 30 дней4лайкавеса обновлены9 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

XLMRoBERTa-Clickbait-Detection-new — модель классификации текста, разработанная путём дообучения FacebookAI/xlm-roberta-large на наборе christinacdl/clickbait_detection_dataset. Она предназначена для определения кликбейтных заголовков и может применяться при проверке заголовков в публикациях и при автоматической модерации контента. Модель основана на XLM-RoBERTa, содержит 658,7 млн параметров и принимает текст с контекстом до 514 токенов. В метаданных заявлена поддержка английского, греческого, русского, румынского, немецкого, итальянского и испанского языков.

На тестовой выборке автор сообщает точность 0,9839 и macro-F1 0,9838. Эти оценки относятся к указанному набору данных и сами по себе не гарантируют аналогичного качества на других источниках, жанрах заголовков или языках. Модель распространяется по лицензии MIT.

Сценарии применения

  • выявление кликбейтных заголовков в новостях
  • проверка заголовков перед публикацией
  • автоматическая маркировка кликбейтных материалов
  • анализ заголовков в пользовательских публикациях

Ограничения

Показатели качества приведены для конкретного набора данных и не подтверждают такое же качество на других источниках и языках. README не уточняет формат входных данных и ограничения применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

XLM_RoBERTa-Clickbait-Detection-new

This model is a fine-tuned version of xlm-roberta-large on the christinacdl/clickbait_detection_dataset dataset. It achieves the following results on the evaluation set:

  • Loss: 0.1071
  • Micro F1: 0.9834
  • Macro F1: 0.9833
  • Accuracy: 0.9834

It achieves the following results on the test set:

  • Accuracy: 0.9838922630050172

  • Micro-F1 Score: 0.9838922630050172

  • Macro-F1 Score: 0.9838416247418498

  • Matthews Correlation Coefficient: 0.9676867009951606

  • Precision of each class: [0.98156425 0.98597897]

  • Recall of each class: [0.98431373 0.98351648]

  • F1 score of each class: [0.98293706 0.98474619]

Intended uses & limitations

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 1e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 4
  • early stopping patience: 2
  • adam epsilon: 1e-8
  • gradient_checkpointing: True
  • max_grad_norm: 1.0
  • seed: 42
  • optimizer: adamw_torch_fused
  • weight decay: 0.01
  • warmup_ratio: 0
  • group_by_length: True
  • max_seq_length: 512
  • save_steps: 1000
  • logging_steps: 500
  • evaluation_strategy: epoch
  • save_strategy: epoch
  • eval_steps: 1000
  • save_total_limit: 2

All results from Training and Evaluation

  • "epoch": 4.0,
  • "eval_accuracy": 0.9844203855294428,
  • "eval_loss": 0.08027808368206024,
  • "eval_macro_f1": 0.9843695357857132,
  • "eval_micro_f1": 0.9844203855294428,
  • "eval_runtime": 124.9733,
  • "eval_samples": 3787,
  • "eval_samples_per_second": 30.302,
  • "eval_steps_per_second": 1.896,
  • "predict_accuracy": 0.9838922630050172,
  • "predict_loss": 0.07716809958219528,
  • "predict_macro_f1": 0.9838416247418498,
  • "predict_micro_f1": 0.9838922630050172,
  • "predict_runtime": 127.7861,
  • "predict_samples": 3787,
  • "predict_samples_per_second": 29.635,
  • "predict_steps_per_second": 1.855,
  • "train_loss": 0.057462599486458765,
  • "train_runtime": 25253.576,
  • "train_samples": 30296,
  • "train_samples_per_second": 4.799,
  • "train_steps_per_second": 0.15

Framework versions

  • Transformers 4.36.1
  • Pytorch 2.1.0+cu121
  • Datasets 2.13.1
  • Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForSequenceClassification
Ревизия весов
d8cd242

0 моделей

    Создать бенчмарк