/ Модель

Характеристики

Контекст
512 токенов
Параметры
138 млн
Архитектура
bert · dense
Опубликована
3 авг 2022

bert-base-finetuned-ynat

Классификация текстаТекст → label4 профессии

Дообученная модель BERT для классификации текстов на данных KLUE.

66скачиваний за 30 дней1лайквеса обновлены4 авг 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bash1130/bert-base-finetuned-ynat — модель классификации текстов на основе BERT, дообученная на klue/bert-base с использованием набора данных KLUE. Она предназначена для присвоения тексту категории и может применяться в задачах тематической разметки и сортировки текстов. Модель содержит 137,8 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Доступны веса в формате PyTorch.

На оценочной выборке указаны loss 0,3609 и F1 0,8712. Карточка не описывает набор классов и подробности обучения, поэтому качество на других данных и пригодность для конкретных категорий не подтверждены. Лицензия в предоставленных данных не указана.

Сценарии применения

  • тематическая классификация текстов
  • автоматическая разметка коротких сообщений
  • сортировка текстов по категориям

Ограничения

Карточка не сообщает набор классов и детали обучения; приведённые метрики относятся только к оценочной выборке. Перенос качества на другие данные не подтверждён.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-finetuned-ynat

This model is a fine-tuned version of klue/bert-base on the klue dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3609
  • F1: 0.8712

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 256
  • eval_batch_size: 256
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 5

Training results

Training LossEpochStepValidation LossF1
No log1.01790.39790.8611
No log2.03580.37730.8669
0.30073.05370.36090.8712
0.30074.07160.37080.8708
0.30075.08950.37200.8697

Framework versions

  • Transformers 4.21.0
  • Pytorch 1.12.0+cu113
  • Datasets 2.4.0
  • Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
c7ca119

0 моделей