Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 3 июл 2023

Ссылки

Hugging Face

BertClassifier4NepaliNews

raygx

Классификация текстаТекст → label

Дообученная на базе nepaliBERT модель для классификации новостных текстов на непальском языке.

15скачиваний за 30 дней0лайковвеса обновлены5 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BertClassifier4NepaliNews — модель классификации текста на базе BERT, дообученная автором raygx на Shushant/nepaliBERT для новостных текстов на непальском языке. Она предназначена для отнесения текста к категориям; в карточке указаны значения потерь на обучающей и проверочной выборках после второй эпохи, но классы и состав набора данных не описаны. Модель содержит 136,7 млн параметров, имеет контекст до 512 токенов и опубликована в формате TensorFlow. Лицензия — MIT.

Сценарии применения

Классификация новостей на непальском языке
Автоматическая категоризация непальских новостных публикаций
Разметка непальских текстов по тематическим классам

Ограничения

В карточке не указаны названия классов и подробности обучающего набора данных, поэтому пригодность для конкретной схемы категоризации не подтверждена. Метрики приведены только как потери обучения и валидации.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BertClassifier4NepaliNews

This model is a fine-tuned version of Shushant/nepaliBERT on an unknown dataset. It achieves the following results on the evaluation set:

Train Loss: 0.3181
Validation Loss: 0.4388
Epoch: 2

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

optimizer: {'name': 'AdamWeightDecay', 'learning_rate': 5e-06, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False, 'weight_decay_rate': 0.0001}
training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
0.6403	0.4846	0
0.4024	0.4300	1
0.3181	0.4388	2

Framework versions

Transformers 4.30.1
TensorFlow 2.12.0
Datasets 2.1.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 37918df