Характеристики

Контекст: 512 токенов
Параметры: 265 млн
Лицензия: afl-3.0
Архитектура: bert · dense
Базовая модель: hb_2
Опубликована: 6 апр 2024

Ссылки

Hugging Face

hb_111

Utkarsh03

Классификация текстаТекст → label

Дообученная BERT-модель для классификации текста, вероятно ориентированная на выявление оскорбительной речи на хинди.

5скачиваний за 30 дней0лайковвеса обновлены6 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Utkarsh03/hb_111 — модель классификации текста, созданная дообучением samhitmantrala/hb_2. Она предназначена для отнесения текстовых последовательностей к классам; описание конкретных классов и сценариев применения в карточке не раскрыто. Базовая модель основана на MuRIL и предназначена для выявления оскорбительной речи на хинди, поэтому это вероятная область применения и производной модели, но README не подтверждает её отдельно.

Модель использует архитектуру BERT с головой классификации последовательностей, содержит около 264,8 млн параметров и принимает контекст до 512 токенов. В README приведены результаты оценки: loss 0,0127 и accuracy 1,0; без сведений о наборе данных и протоколе оценки эти показатели не позволяют судить о качестве на новых данных. Лицензия — AFL-3.0.

Сценарии применения

классификация текстовых сообщений
выявление оскорбительной речи на хинди

Ограничения

README не уточняет набор классов, обучающие данные и методику оценки; приведённая точность 1,0 не описывает ожидаемое качество на новых данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

hb_111

This model is a fine-tuned version of samhitmantrala/hb_2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0127
Accuracy: 1.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	41	0.0192	1.0
No log	2.0	82	0.0141	1.0
No log	3.0	123	0.0127	1.0

Framework versions

Transformers 4.38.2
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: be0c43e