Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased
Опубликована: 17 окт 2023

Ссылки

Hugging Face

ditilbert-spamEmail

tony4194

Классификация текстаТекст → label

Дообученная DistilBERT-модель для определения, является ли английское электронное письмо спамом.

8скачиваний за 30 дней0лайковвеса обновлены19 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ditilbert-spamEmail — дообученная модель на базе DistilBERT для классификации электронных писем на обычные и спам-сообщения. Она использует архитектуру DistilBertForSequenceClassification и обучена на наборе enron_spam; метка 0 означает обычное письмо, а метка 1 — спам. Модель принимает текст и выдаёт метку класса. Для оценки в карточке указаны accuracy 0,9925 и loss 0,0462.

Модель подходит для фильтрации входящей почты и предварительной разметки писем. Она рассчитана на английский язык и имеет контекстное окно 512 токенов. Опубликована в формате PyTorch по лицензии Apache-2.0. Карточка не описывает состав и методику подготовки обучающей выборки, поэтому приведённые метрики не гарантируют такое же качество на других данных.

Сценарии применения

фильтрация спама во входящей почте
автоматическая сортировка писем на спам и обычные
предварительная разметка электронных писем для модерации

Ограничения

Описана оценка на наборе enron_spam, но сведения о подготовке обучающих и оценочных данных ограничены; качество на других типах писем может отличаться. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ditilbert-spamEmail

This model is a fine-tuned version of distilbert-base-uncased on an enron_spam dataset. It achieves the following results on the evaluation set:

Loss: 0.0462
Accuracy: 0.9925

Model description

By calling the API, label 0 means ham message while 1 means spam message.

Intended uses & limitations

This model is used for spam email detection powered by distilbert and sequence classification.

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.0307	1.0	1983	0.0561	0.989
0.007	2.0	3966	0.0462	0.9925

Framework versions

Transformers 4.34.1
Pytorch 2.0.1+cu118
Datasets 2.14.5
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForSequenceClassification
Ревизия весов: ea7bb7d