Характеристики

Контекст: 512 токенов
Параметры: 205 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 10 мая 2023

Ссылки

malware-url-detect

Классификация текстаТекст → label3 профессии

BERT-классификатор определяет, является ли домен вредоносной или доброкачественной ссылкой, с ориентацией на угрозы, используемые в Турции.

317скачиваний за 30 дней5лайковвеса обновлены26 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MALWARE-URL-DETECT — модель классификации адресов доменов, разработанная автором репозитория elftsdmr и дообученная на основе bert-base-multilingual-cased. Она определяет, относится ли переданный домен к вредоносным ссылкам, включая фишинговые, или является доброкачественным. В README указано, что модель ориентирована на вредоносные ссылки, используемые в Турции; для классификации в API предлагается передавать доменное имя, например huggingface.com.

Модель использует архитектуру BERT для классификации последовательностей, содержит 205,1 млн параметров и принимает вход длиной до 512 токенов. В README приведены результаты на оценочной выборке: accuracy 0,945, precision 0,9611, recall 0,9287 и F1 0,9446. Эти показатели относятся к неизвестному датасету и не гарантируют аналогичное качество на новых данных или за пределами указанного контекста. Модель распространяется под лицензией Apache-2.0.

Сценарии применения

проверка домена на фишинг
классификация ссылок как вредоносных или безопасных
первичная фильтрация URL в API
выявление вредоносных доменов, связанных с угрозами в Турции

Ограничения

Обучающий датасет не описан, поэтому качество на новых угрозах и вне турецкого контекста не установлено. Приведённые метрики относятся к оценочной выборке и не гарантируют качество в эксплуатации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MALWARE-URL-DETECT

With this model, it detects harmful links created to harm people such as phishing in Turkey. Classifies url addresses as malware and benign. Type the domain name of the url address in the text field for classification in API: Like this: "huggingface.com"
To test the model, visit USOM. Harmful links used in Turkey are shared up-to-date on this site.

This model is a fine-tuned version of bert-base-multilingual-cased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2122
Accuracy: 0.945
Precision: 0.9611
Recall: 0.9287
F1: 0.9446

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Precision	Recall	F1
No log	1.0	63	0.2153	0.921	0.9953	0.8475	0.9155
No log	2.0	126	0.1927	0.946	0.9669	0.9248	0.9453
No log	3.0	189	0.2122	0.945	0.9611	0.9287	0.9446

Framework versions

Transformers 4.28.1
Pytorch 2.0.0
Datasets 2.1.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 647f1ad