/ Модель

Характеристики

Контекст
512 токенов
Параметры
129 млн
Архитектура
bert · dense

distilbert-base-chinese-amazon_zh_20000

Классификация текстаТекст → label3 профессии

Дообученная на неизвестном наборе данных китайскоязычная модель BERT для классификации текста.

44скачиваний за 30 дней2лайкавеса обновлены25 фев 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ASCCCCCCCC/distilbert-base-chinese-amazon_zh_20000 — модель классификации последовательностей на базе bert-base-chinese, дообученная для классификации текста на неизвестном наборе данных. В метаданных указаны архитектура BERT, реализация BertForSequenceClassification, 129,5 млн параметров и контекст до 512 токенов; веса представлены в формате PyTorch.

Карточка сообщает результат оценки на тестовой выборке: accuracy 0,5092 и loss 1,1518. Назначение меток и характеристики обучающего набора не описаны, поэтому область применения классификации определить точнее нельзя. Модель опубликована под идентификатором ASCCCCCCCC; лицензия в предоставленных данных не указана.

Сценарии применения

  • Классификация китайских текстовых последовательностей
  • Экспериментальная оценка классификатора BERT
  • Использование как отправной точки для дообучения классификации на китайском языке

Ограничения

Назначение классов и обучающий набор данных не описаны; указанная accuracy на тестовой выборке составляет 0,5092. Лицензия не приведена в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-chinese-amazon_zh_20000

This model is a fine-tuned version of bert-base-chinese on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.1518
  • Accuracy: 0.5092

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 1

Training results

Training LossEpochStepValidation LossAccuracy
1.1961.012501.15180.5092

Framework versions

  • Transformers 4.15.0
  • Pytorch 1.9.1
  • Datasets 1.18.3
  • Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
85a8784

0 моделей