Характеристики

Контекст: 512 токенов
Параметры: 4,4 млн
Архитектура: bert · dense

Ссылки

Hugging Face

bert-tiny-finetuned-ner

gagan3012

Разметка токеновТекст → label7 профессий

Компактная модель BERT, дообученная для распознавания именованных сущностей в тексте на наборе CoNLL-2003.

4 220скачиваний за 30 дней6лайковвеса обновлены1 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель gagan3012/bert-tiny-finetuned-ner — компактная модель разметки последовательностей на основе prajjwal1/bert-tiny, дообученная на наборе данных CoNLL-2003. Она использует архитектуру BERT и содержит около 4,4 млн параметров; максимальная длина контекста — 512 токенов.

Модель предназначена для распознавания именованных сущностей в тексте, например имён людей, организаций и географических названий. На оценочной выборке CoNLL-2003 указаны F1 0,8177, точность 0,8083, полнота 0,8274 и accuracy 0,9598. Карточка не описывает ограничения или условия лицензии, поэтому их нельзя уточнить по доступным данным.

Сценарии применения

извлечение имён людей из текста
распознавание организаций в новостях
выделение географических названий
разметка именованных сущностей в английских текстах
извлечение сущностей из документов

Ограничения

Оценочные результаты приведены только для CoNLL-2003 и не гарантируют аналогичное качество на других языках и типах текста. Лицензия и подробные ограничения применения в карточке не описаны.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-tiny-finetuned-ner

This model is a fine-tuned version of prajjwal1/bert-tiny on the conll2003 dataset. It achieves the following results on the evaluation set:

Loss: 0.1689
Precision: 0.8083
Recall: 0.8274
F1: 0.8177
Accuracy: 0.9598

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0355	1.0	878	0.1692	0.8072	0.8248	0.8159	0.9594
0.0411	2.0	1756	0.1678	0.8101	0.8277	0.8188	0.9600
0.0386	3.0	2634	0.1697	0.8103	0.8269	0.8186	0.9599
0.0373	4.0	3512	0.1694	0.8106	0.8263	0.8183	0.9600
0.0383	5.0	4390	0.1689	0.8083	0.8274	0.8177	0.9598

Framework versions

Transformers 4.10.0
Pytorch 1.9.0+cu102
Datasets 1.11.0
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: 54db924