Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Опубликована: 27 апр 2022

Ссылки

Hugging Face

distilbert-base-uncased-finetuned-ner-TRANS

Lilya

Разметка токеновТекст → label8 профессий

Дообученная модель DistilBERT для распознавания именованных сущностей и классификации токенов в тексте.

15скачиваний за 30 дней0лайковвеса обновлены28 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Lilya/distilbert-base-uncased-finetuned-ner-TRANS — модель DistilBERT, дообученная для классификации токенов и распознавания именованных сущностей. Она предназначена для разметки слов и фрагментов текста метками сущностей. В карточке приведены результаты оценки: F1 0,8011, точность 0,7911, полнота 0,8114 и accuracy 0,9815.

Модель использует архитектуру DistilBertForTokenClassification, веса PyTorch и контекст до 512 токенов. Базовая модель — distilbert-base-uncased; лицензия — Apache-2.0. В карточке не описаны набор данных, метки сущностей и ограничения применения, поэтому пригодность для конкретных типов сущностей следует проверять отдельно.

Сценарии применения

поиск именованных сущностей в тексте
разметка токенов по классам сущностей
извлечение сущностей из англоязычных документов

Ограничения

В карточке не раскрыты набор данных и метки сущностей, поэтому нельзя определить, какие именно типы сущностей модель распознаёт. Приведённые метрики относятся к указанному оценочному набору данных и не гарантируют качество на других текстах.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-uncased-finetuned-ner-TRANS

This model is a fine-tuned version of distilbert-base-uncased on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1053
Precision: 0.7911
Recall: 0.8114
F1: 0.8011
Accuracy: 0.9815

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 12

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.077	1.0	3762	0.0724	0.7096	0.7472	0.7279	0.9741
0.0538	2.0	7524	0.0652	0.7308	0.7687	0.7493	0.9766
0.0412	3.0	11286	0.0643	0.7672	0.7875	0.7772	0.9788
0.0315	4.0	15048	0.0735	0.7646	0.7966	0.7803	0.9793
0.0249	5.0	18810	0.0772	0.7805	0.7981	0.7892	0.9801
0.0213	6.0	22572	0.0783	0.7829	0.8063	0.7944	0.9805
0.0187	7.0	26334	0.0858	0.7821	0.8010	0.7914	0.9809
0.0157	8.0	30096	0.0860	0.7837	0.8120	0.7976	0.9812
0.0122	9.0	33858	0.0963	0.7857	0.8129	0.7990	0.9813
0.0107	10.0	37620	0.0993	0.7934	0.8089	0.8010	0.9812
0.0091	11.0	41382	0.1031	0.7882	0.8123	0.8001	0.9814
0.0083	12.0	45144	0.1053	0.7911	0.8114	0.8011	0.9815

Framework versions

Transformers 4.15.0
Pytorch 1.10.1
Datasets 2.0.0
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForTokenClassification
Ревизия весов: 587367a