Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense

Ссылки

Hugging Face

bert-base-uncased-dbpedia_14

fabriceyhc

Классификация текстаТекст → label4 профессии

Дообученная BERT-модель для классификации англоязычных текстов по 14 категориям DBpedia.

122скачиваний за 30 дней0лайковвеса обновлены21 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

fabriceyhc/bert-base-uncased-dbpedia_14 — дообученная модель на основе BERT base uncased для классификации текстов по категориям набора DBpedia 14. Она принимает текст и относит его к одному из 14 классов; архитектура — BertForSequenceClassification, число параметров — 136,7 млн, максимальная длина контекста — 512 токенов. В README указана точность 0,9903 и loss 0,0547 на оценочном наборе.

Модель подходит для тематической классификации текстов, похожих на примеры из DBpedia 14. Карточка не описывает дополнительные сценарии применения или языковую поддержку; основа BERT uncased рассчитана на английский текст. Модель опубликована в формате PyTorch по лицензии Apache-2.0.

Сценарии применения

классификация описаний сущностей по категориям DBpedia
распределение англоязычных текстов по 14 тематическим классам
автоматическая тематическая разметка коротких текстов

Ограничения

Обучение и заявленная оценка относятся к DBpedia 14, поэтому качество на других классах текстов может отличаться. Максимальная длина входа составляет 512 токенов.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-uncased-dbpedia_14

This model is a fine-tuned version of bert-base-uncased on the dbpedia_14 dataset. It achieves the following results on the evaluation set:

Loss: 0.0547
Accuracy: 0.9903

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 34650
training_steps: 346500

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
1.7757	0.03	2000	0.2732	0.9880
0.1002	0.06	4000	0.0620	0.9891
0.0547	0.09	6000	0.0723	0.9879
0.0558	0.12	8000	0.0678	0.9875
0.0534	0.14	10000	0.0554	0.9896
0.0632	0.17	12000	0.0670	0.9888
0.0612	0.2	14000	0.0733	0.9873
0.0667	0.23	16000	0.0623	0.9896
0.0636	0.26	18000	0.0836	0.9868
0.0705	0.29	20000	0.0776	0.9855
0.0726	0.32	22000	0.0805	0.9861
0.0778	0.35	24000	0.0713	0.9870
0.0713	0.38	26000	0.1277	0.9805
0.0965	0.4	28000	0.0810	0.9855
0.0881	0.43	30000	0.0910	0.985

Framework versions

Transformers 4.10.2
Pytorch 1.7.1
Datasets 1.6.1
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 1fbfc3d