Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-cased
Опубликована: 22 авг 2024

Ссылки

Hugging Face

bert-base-cased-finetuned-products

amirkazemim

Классификация текстаТекст → label

Дообученная BERT-модель для классификации текстов, обозначенная как ориентированная на товары.

11скачиваний за 30 дней0лайковвеса обновлены22 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель amirkazemim/bert-base-cased-finetuned-products — дообученная версия BERT base cased для классификации текста. По архитектуре это BertForSequenceClassification с 135,5 млн параметров; модель принимает текстовые последовательности длиной до 512 токенов и выдаёт классы. В названии указана ориентация на товары, однако карточка не раскрывает набор категорий, обучающие данные или конкретные сценарии классификации.

Модель опубликована в формате safetensors под лицензией Apache-2.0. README сообщает о дообучении bert-base-cased и значении loss 2,125 на оценочной выборке, но не уточняет датасет и методику оценки; поэтому качество и применимость к конкретным каталогам товаров требуют отдельной проверки.

Сценарии применения

классификация описаний товаров
отнесение товарного текста к категориям после проверки меток модели
автоматическая разметка товарных записей

Ограничения

Карточка не раскрывает датасет, набор классов и методику оценки; приведённый loss 2,125 не позволяет самостоятельно определить качество модели. Назначение для товарной тематики следует подтвердить на целевых данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-cased-finetuned-products

This model is a fine-tuned version of bert-base-cased on the None dataset. It achieves the following results on the evaluation set:

Loss: 2.1250

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 4e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss
7.1574	1.0	7595	6.0100
4.7853	2.0	15190	3.7723
3.0734	3.0	22785	2.7345
2.2249	4.0	30380	2.2894
1.746	5.0	37975	2.0801
1.4232	6.0	45570	1.9818
1.177	7.0	53165	1.9314
0.9785	8.0	60760	1.9254
0.8097	9.0	68355	1.9443
0.6691	10.0	75950	1.9722
0.5536	11.0	83545	2.0024
0.4616	12.0	91140	2.0540
0.3869	13.0	98735	2.0819
0.3302	14.0	106330	2.1114
0.2915	15.0	113925	2.1250

Framework versions

Transformers 4.41.2
Pytorch 2.3.0.post100
Datasets 2.19.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 1a047da