Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 8 фев 2023

Ссылки

Hugging Face

finetuned_bert-base-uncased

minoosh

Классификация текстаТекст → label3 профессии

Дообученная на базе BERT модель для классификации текстовых последовательностей.

9скачиваний за 30 дней0лайковвеса обновлены5 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

minoosh/finetuned_bert-base-uncased — дообученная модель классификации последовательностей на базе bert-base-uncased. Она предназначена для классификации текста. Модель содержит 136,7 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. Опубликованная оценка на наборе для проверки: accuracy 0,6793, loss 1,1947.

Модель распространяется в формате PyTorch по лицензии Apache-2.0. В карточке не описаны классы классификации, обучающие данные и предполагаемые сценарии применения, поэтому пригодность для конкретной задачи следует проверять отдельно.

Сценарии применения

классификация текста с подходящими метками
оценка качества модели на задаче классификации последовательностей
эксперименты с дообученной моделью BERT

Ограничения

Категории классификации и обучающий датасет не описаны. На оценочном наборе указаны accuracy 0,6793 и loss 1,1947; качество для конкретного применения нужно оценивать отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

finetuned_bert-base-uncased

This model is a fine-tuned version of bert-base-uncased on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.1947
Accuracy: 0.6793

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 20

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.2761	1.0	102	1.3225	0.3375
0.9847	2.0	204	1.0792	0.5509
0.6882	3.0	306	0.9260	0.6382
0.5099	4.0	408	0.9072	0.6634
0.4614	5.0	510	0.9115	0.6867
0.3406	6.0	612	1.0022	0.6751
0.189	7.0	714	1.0881	0.6751
0.2179	8.0	816	1.1520	0.6712
0.2085	9.0	918	1.2567	0.6896
0.1914	10.0	1020	1.2074	0.6828
0.1271	11.0	1122	1.3389	0.6887
0.1236	12.0	1224	1.3539	0.6790
0.0946	13.0	1326	1.4042	0.6838
0.0968	14.0	1428	1.4079	0.6877
0.1095	15.0	1530	1.4884	0.6799
0.1102	16.0	1632	1.5244	0.6790
0.1159	17.0	1734	1.5238	0.6799
0.1448	18.0	1836	1.5568	0.6780
0.1105	19.0	1938	1.5629	0.6780
0.092	20.0	2040	1.5588	0.6809

Framework versions

Transformers 4.26.1
Pytorch 1.13.1+cu116
Datasets 2.10.1
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: b68530f