Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Опубликована: 18 мар 2024

Ссылки

Hugging Face

bert-petco-emailbody-ctr

yimiwang

Классификация текстаТекст → label3 профессии

Дообученная модель BERT для классификации текстов, связанная по названию с телами писем Petco.

13скачиваний за 30 дней0лайковвеса обновлены19 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

yimiwang/bert-petco-emailbody-ctr — дообученная модель на архитектуре BERT для классификации текста. В метаданных указана задача text-classification, а размер модели составляет 136,7 млн параметров; базовая модель — bert-base-uncased. Модель принимает текст и выдаёт результат классификации. Контекст — до 512 токенов.

В README приведены метрики на оценочном наборе: MSE 0,0143, RMSE 0,1197, MAE 0,0727 и R² 0,7276. Название указывает на применение к телам писем Petco, однако описание назначения и данных обучения отсутствует, поэтому нельзя подтвердить конкретные классы или целевую переменную. Распространяется по лицензии Apache-2.0.

Сценарии применения

классификация текста тела письма
оценка целевого показателя по тексту письма
эксперименты с классификацией email-текстов

Ограничения

README не описывает конкретную целевую переменную, метки, датасет и сценарии применения; приведённые метрики сами по себе не позволяют установить семантику предсказания. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели III.1Корпоративные функцииСтратегия, продукт и бизнес-моделиAI помогает принимать продуктовые и стратегические решения на основе свидетельств, а не только интуиции.19 задач2 459моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-petco-emailbody-ctr

This model is a fine-tuned version of bert-base-uncased on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0143
Mse: 0.0143
Rmse: 0.1197
Mae: 0.0727
R2: 0.7276

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Mse	Rmse	Mae	R2
0.1187	1.0	16	0.0474	0.0474	0.2176	0.0906	0.0990
0.1042	2.0	32	0.0447	0.0447	0.2115	0.1415	0.1490
0.0641	3.0	48	0.0315	0.0315	0.1774	0.0966	0.4012
0.0562	4.0	64	0.0278	0.0278	0.1667	0.0902	0.4716
0.0498	5.0	80	0.0278	0.0278	0.1669	0.0914	0.4702
0.0318	6.0	96	0.0229	0.0229	0.1512	0.0991	0.5652
0.0239	7.0	112	0.0275	0.0275	0.1658	0.1025	0.4770
0.0117	8.0	128	0.0513	0.0513	0.2264	0.0946	0.0248
0.0137	9.0	144	0.0371	0.0371	0.1926	0.0867	0.2940
0.0125	10.0	160	0.0287	0.0287	0.1694	0.0769	0.4538
0.0077	11.0	176	0.0332	0.0332	0.1821	0.0803	0.3691
0.0049	12.0	192	0.0225	0.0225	0.1501	0.0970	0.5715
0.0074	13.0	208	0.0185	0.0185	0.1360	0.0822	0.6482
0.0046	14.0	224	0.0214	0.0214	0.1464	0.0734	0.5923
0.005	15.0	240	0.0152	0.0152	0.1234	0.0730	0.7104
0.0059	16.0	256	0.0143	0.0143	0.1197	0.0727	0.7276
0.005	17.0	272	0.0249	0.0249	0.1577	0.0744	0.5271
0.0042	18.0	288	0.0267	0.0267	0.1635	0.0762	0.4911
0.0039	19.0	304	0.0283	0.0283	0.1683	0.0776	0.4609
0.0045	20.0	320	0.0274	0.0274	0.1654	0.0756	0.4795

Framework versions

Transformers 4.38.2
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 7d91e83