Характеристики

Контекст: 4 098 токенов
Параметры: 152 млн
Лицензия: Apache 2.0
Архитектура: longformer · dense
Базовая модель: longformer-base-4096
Опубликована: 25 авг 2023

Ссылки

longformer-harmful-ro

Классификация текстаТекст → label3 профессии

Дообученная модель Longformer классифицирует тексты для выявления вредоносного содержания, включая длинные последовательности до 4098 токенов.

687скачиваний за 30 дней2лайкавеса обновлены25 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LibrAI/longformer-harmful-ro — дообученная LibrAI модель на базе allenai/longformer-base-4096 для классификации текстов, связанных с вредоносным содержанием. Она использует архитектуру LongformerForSequenceClassification и принимает последовательности длиной до 4098 токенов, что позволяет оценивать длинные тексты целиком. В README приведены результаты на оценочной выборке: accuracy 0,996, precision 0,998, recall 0,955 и F1 0,975.

Модель предназначена для выявления вредоносных текстов; конкретные классы, датасет и сценарии применения в карточке не описаны. Доступны веса PyTorch, лицензия — Apache-2.0. Показатели из README относятся только к указанной оценочной выборке и не гарантируют аналогичного качества на других данных.

Сценарии применения

классификация текста как вредоносного или безопасного
проверка длинных документов на вредоносное содержание
предварительная фильтрация текстов для последующей модерации

Ограничения

README не уточняет датасет, классы меток и языки обучающих данных, поэтому переносимость на конкретные языки и типы вредоносного контента не подтверждена. Приведённые метрики получены только на оценочной выборке.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

longformer-harmful-ro

This model is a fine-tuned version of allenai/longformer-base-4096 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0102
Accuracy: 0.996
Precision: 0.998
Recall: 0.955
F1: 0.975

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 64
eval_batch_size: 128
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Precision	Recall	F1
No log	1.0	89	0.0972	0.978	0.989	0.75	0.828
No log	2.0	178	0.0337	0.986	0.993	0.841	0.902
No log	3.0	267	0.0102	0.996	0.998	0.955	0.975

Framework versions

Transformers 4.31.0
Pytorch 2.0.1+cu118
Datasets 2.14.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LongformerForSequenceClassification
Ревизия весов: dc75af6