Характеристики

Лицензия: Apache 2.0
Опубликована: 17 авг 2023

Ссылки

Hugging Face

gitlab-mr-analysis-default-model

crest-data-systems

Классификация текстаТекст → label

Дообученная модель DistilBERT для классификации текста с указанными в карточке метриками accuracy 94,73% и F1 0,9612.

0скачиваний за 30 дней0лайковвеса обновлены22 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gitlab-mr-analysis-default-model — модель классификации текста на базе distilbert-base-uncased-distilled-squad, дообученная Crest Data Systems. В карточке указаны результаты оценки: accuracy 94,73%, F1 0,9612 и loss 0,3356; описание назначения, обучающих данных и ограничений в README не раскрыто.

Модель предназначена для задачи text-classification. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. По имеющимся сведениям нельзя уточнить классы, на которых обучена модель, или рекомендовать конкретные сценарии классификации.

Сценарии применения

Классификация текстовых фрагментов в приложениях на базе Transformers
Оценка модели для задач классификации текста

Ограничения

Назначение классов и состав обучающих данных не описаны, поэтому метрики нельзя уверенно переносить на конкретный сценарий. Оценка приведена без сведений о размере и составе тестовой выборки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gitlab-mr-analysis-default-model

This model is a fine-tuned version of distilbert-base-uncased-distilled-squad on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.3356
Accuracy: 94.72759226713534%
F1: 0.9612

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 16
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
No log	1.0	284	0.4056	85.76449912126537%	0.7346
0.4789	2.0	568	0.2722	91.47627416520211%	0.9335
0.4789	3.0	852	0.2413	94.37609841827768%	0.9592
0.1185	4.0	1137	0.2776	94.37609841827768%	0.9574
0.1185	5.0	1421	0.3132	93.84885764499121%	0.9472
0.0378	6.0	1705	0.3323	94.28822495606327%	0.9582
0.0378	7.0	1989	0.3393	94.28822495606327%	0.9575
0.0123	8.0	2274	0.3363	94.5518453427065%	0.9607
0.0077	9.0	2558	0.3333	94.63971880492092%	0.9606
0.0077	9.99	2840	0.3356	94.72759226713534%	0.9612

Framework versions

Transformers 4.29.2
Pytorch 2.0.1
Datasets 2.14.4
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 0adfcc9