Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 26 апр 2022

Ссылки

Hugging Face

glue_sst_classifier

Alassea

Классификация текстаТекст → label

Дообученная на GLUE модель BERT для классификации предложений и текста.

13скачиваний за 30 дней0лайковвеса обновлены26 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Alassea/glue_sst_classifier — дообученная на наборе GLUE модель BERT для классификации текста. Она предназначена для классификации предложений; результаты оценки на тестовой выборке GLUE составили F1 0,9034 и accuracy 0,9014. Модель содержит 135,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch.

Модель основана на bert-base-cased и выпущена под лицензией Apache-2.0. Карточка не уточняет целевые метки классификации и языки обучения; название SST указывает на задачу анализа тональности, но это не подтверждено описанием или метаданными.

Сценарии применения

Классификация текстовых предложений
Оценка тональности коротких отзывов
Эксперименты с классификацией на GLUE

Ограничения

В карточке не описаны целевые метки, языки и ограничения применения. Приведённые метрики относятся к оценке на GLUE и не гарантируют качество на других данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

glue_sst_classifier

This model is a fine-tuned version of bert-base-cased on the glue dataset. It achieves the following results on the evaluation set:

Loss: 0.2359
F1: 0.9034
Accuracy: 0.9014

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 128
eval_batch_size: 128
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 1.0

Training results

Training Loss	Epoch	Step	Validation Loss	F1	Accuracy
0.3653	0.19	100	0.3213	0.8717	0.8727
0.291	0.38	200	0.2662	0.8936	0.8911
0.2239	0.57	300	0.2417	0.9081	0.9060
0.2306	0.76	400	0.2359	0.9105	0.9094
0.2185	0.95	500	0.2371	0.9011	0.8991

Framework versions

Transformers 4.18.0
Pytorch 1.11.0+cu113
Datasets 2.1.0
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 72560eb