Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased
Опубликована: 6 июн 2022

Ссылки

Hugging Face

distilbert-base-uncased-finetuned-banking77

optimum

Классификация текстаТекст → label3 профессии

Дообученная на Banking77 модель DistilBERT классифицирует банковские обращения по категориям.

172скачиваний за 30 дней4лайкавеса обновлены12 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель классификации текста на базе DistilBERT, дообученная на наборе Banking77. Она предназначена для определения категории пользовательского обращения в банковской тематике, например для маршрутизации сообщений в службу поддержки. Модель использует архитектуру DistilBertForSequenceClassification, работает с текстом и принимает последовательности длиной до 512 токенов. Для оценки на тестовом наборе Banking77 указаны точность и F1 по 0,925.

Модель подходит для классификации обращений, похожих на примеры из Banking77. Результаты на этом наборе не гарантируют качество на иных банковских данных или при изменении формулировок и распределения категорий. Лицензия — Apache-2.0.

Сценарии применения

Определение категории сообщения клиента банка
Маршрутизация банковских обращений в нужную команду поддержки
Классификация вопросов о картах и банковских счетах

Ограничения

Качество подтверждено на тестовом наборе Banking77 и может быть ниже на других банковских данных или категориях. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель IV.2Отраслевые задачиБанки, платежи и инвестицииAI помогает управлять финансовым риском, платежами, инвестиционным анализом и обслуживанием клиентов.37 задач1 723модели III.10Корпоративные функцииПроекты, процессы и операционное управлениеAI помогает планировать работу, обнаруживать отклонения и улучшать операционные процессы.25 задач2 527моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-uncased-finetuned-banking77

This model is a fine-tuned version of distilbert-base-uncased on the banking77 dataset. It achieves the following results on the evaluation set:

Loss: 0.2935
Accuracy: 0.925
F1: 0.9250

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 9.686210354742596e-05
train_batch_size: 64
eval_batch_size: 32
seed: 40
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
No log	1.0	126	1.1457	0.7896	0.7685
No log	2.0	252	0.4673	0.8906	0.8889
No log	3.0	378	0.3488	0.9150	0.9151
0.9787	4.0	504	0.3238	0.9180	0.9179
0.9787	5.0	630	0.3126	0.9225	0.9226

Framework versions

Transformers 4.17.0
Pytorch 1.11.0
Datasets 2.0.0
Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForSequenceClassification
Ревизия весов: 8956575