Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense

Ссылки

Hugging Face

bert-base-uncased-ag_news

fabriceyhc

Классификация текстаТекст → label5 профессий

Дообученная модель BERT для классификации англоязычных новостных текстов по категориям AG News.

501скачиваний за 30 дней0лайковвеса обновлены21 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель fabriceyhc/bert-base-uncased-ag_news — версия BERT base uncased, дообученная для классификации новостных текстов на наборе AG News. Она принимает текст и относит его к одному из классов новостей; модель предназначена для категоризации новостных статей и сообщений. Архитектура — BertForSequenceClassification, размер — 136,7 млн параметров, максимальная длина контекста — 512 токенов. В README указаны точность 0,9375 и loss 0,3284 на оценочной выборке.

Модель работает с текстом на английском языке, что следует из uncased-варианта базового BERT и англоязычного набора AG News. Вес опубликован в формате PyTorch по лицензии Apache-2.0. Результаты оценки относятся к указанному набору данных; качество на других типах текстов и в других предметных областях этими данными не подтверждено.

Сценарии применения

категоризация новостных статей
разметка новостной ленты по темам
классификация заголовков новостей
автоматическая сортировка новостных сообщений

Ограничения

Оценка точности приведена только для выборки AG News; README не описывает поведение на данных вне этого набора. Контекст ограничен 512 токенами.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

I.14Автоматизация процессов и AI-агенты

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-uncased-ag_news

This model is a fine-tuned version of bert-base-uncased on the ag_news dataset. It achieves the following results on the evaluation set:

Loss: 0.3284
Accuracy: 0.9375

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 7425
training_steps: 74250

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.5773	0.13	2000	0.3627	0.8875
0.3101	0.27	4000	0.2938	0.9208
0.3076	0.4	6000	0.3114	0.9092
0.3114	0.54	8000	0.4545	0.9008
0.3154	0.67	10000	0.3875	0.9083
0.3095	0.81	12000	0.3390	0.9142
0.2948	0.94	14000	0.3341	0.9133
0.2557	1.08	16000	0.4573	0.9092
0.258	1.21	18000	0.3356	0.9217
0.2455	1.35	20000	0.3348	0.9283
0.2361	1.48	22000	0.3218	0.93
0.254	1.62	24000	0.3814	0.9033
0.2528	1.75	26000	0.3628	0.9158
0.2282	1.89	28000	0.3302	0.9308
0.224	2.02	30000	0.3967	0.9225
0.174	2.15	32000	0.3669	0.9333
0.1848	2.29	34000	0.3435	0.9283
0.19	2.42	36000	0.3552	0.93
0.1865	2.56	38000	0.3996	0.9258
0.1877	2.69	40000	0.3749	0.9258
0.1951	2.83	42000	0.3963	0.9258
0.1702	2.96	44000	0.3655	0.9317
0.1488	3.1	46000	0.3942	0.9292
0.1231	3.23	48000	0.3998	0.9267
0.1319	3.37	50000	0.4292	0.9242
0.1334	3.5	52000	0.4904	0.9192

Framework versions

Transformers 4.10.2
Pytorch 1.7.1
Datasets 1.6.1
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: c14e3b3