Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: CC BY-SA 4.0
Архитектура: bert · dense
Базовая модель: legal-bert-base-uncased
Библиотека: transformers
Опубликована: 6 окт 2025

Ссылки

Hugging Face

legal-bert-base-uncased_FineTune_20251006_184619

rayruigal

Классификация текстаТекст → label3 профессии

Дообученная англоязычная BERT-модель для классификации юридических текстов.

121скачиваний за 30 дней0лайковвеса обновлены8 окт 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная англоязычная модель классификации последовательностей на базе nlpaueb/legal-bert-base-uncased. Она предназначена для отнесения юридических текстов к категориям; конкретные метки и целевой сценарий не описаны. Модель построена на архитектуре BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Карточка приводит метрики на оценочном наборе: Macro F1 0,3502 и Micro F1 0,8170; состав набора и схема классов неизвестны. Распространяется по лицензии CC BY-SA 4.0.

Сценарии применения

классификация юридических документов по категориям
отнесение юридических фрагментов к заданным классам
автоматическая разметка англоязычных правовых текстов

Ограничения

Не описаны датасет, классы и предполагаемый сценарий применения. Низкая Macro F1 (0,3502) указывает на возможные трудности с качеством по отдельным классам; метрики приведены только для неописанного оценочного набора.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

legal-bert-base-uncased_FineTune_20251006_184619

This model is a fine-tuned version of nlpaueb/legal-bert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0121
Macro F1: 0.3502
Micro F1: 0.8170
Macro Precision: 0.3794
Macro Recall: 0.3518
Sample F1: 0.8225

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
lr_scheduler_warmup_ratio: 0.1
num_epochs: 35
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Macro F1	Micro F1	Macro Precision	Macro Recall	Sample F1
0.0142	1.0	426	0.0124	0.0137	0.5524	0.0147	0.0136	0.5342
0.0077	2.0	852	0.0076	0.0358	0.7366	0.0417	0.0348	0.7250
0.0058	3.0	1278	0.0059	0.0828	0.7708	0.1284	0.0730	0.7661
0.0048	4.0	1704	0.0051	0.1320	0.7920	0.1940	0.1189	0.7931
0.0039	5.0	2130	0.0049	0.2103	0.8026	0.2662	0.1961	0.8047
0.0037	6.0	2556	0.0050	0.2170	0.8143	0.2658	0.2042	0.8157
0.0029	7.0	2982	0.0051	0.2780	0.8017	0.3243	0.2710	0.7965
0.0026	8.0	3408	0.0055	0.2576	0.8077	0.3115	0.2396	0.8088
0.0021	9.0	3834	0.0059	0.3102	0.8077	0.3414	0.3109	0.8123
0.0012	10.0	4260	0.0062	0.3112	0.8133	0.3430	0.3126	0.8154
0.0013	11.0	4686	0.0072	0.2843	0.8051	0.3465	0.2772	0.8065
0.0009	12.0	5112	0.0078	0.3197	0.7968	0.3579	0.3198	0.7961
0.0007	13.0	5538	0.0077	0.3291	0.8070	0.3707	0.3222	0.8111
0.0005	14.0	5964	0.0084	0.3356	0.8015	0.3664	0.3327	0.8041
0.0005	15.0	6390	0.0091	0.3275	0.8064	0.3653	0.3272	0.8100
0.0005	16.0	6816	0.0089	0.3488	0.8046	0.3884	0.3435	0.8097
0.0004	17.0	7242	0.0097	0.2924	0.8017	0.3188	0.2963	0.8058
0.0003	18.0	7668	0.0093	0.3418	0.8101	0.3730	0.3395	0.8111
0.0002	19.0	8094	0.0099	0.3422	0.8152	0.3842	0.3313	0.8185
0.0001	20.0	8520	0.0102	0.3287	0.8065	0.3618	0.3239	0.8120
0.0001	21.0	8946	0.0102	0.3217	0.8132	0.3495	0.3236	0.8172
0.0001	22.0	9372	0.0106	0.3481	0.8146	0.3769	0.3497	0.8191
0.0001	23.0	9798	0.0107	0.3327	0.8137	0.3666	0.3335	0.8183
0.0	24.0	10224	0.0112	0.3628	0.8131	0.3865	0.3689	0.8187
0.0	25.0	10650	0.0113	0.3593	0.8145	0.3926	0.3575	0.8190
0.0	26.0	11076	0.0115	0.3469	0.8162	0.3764	0.3465	0.8210
0.0	27.0	11502	0.0117	0.3501	0.8163	0.3773	0.3511	0.8208
0.0	28.0	11928	0.0119	0.3438	0.8162	0.3771	0.3444	0.8219
0.0	29.0	12354	0.0119	0.3476	0.8163	0.3806	0.3471	0.8218
0.0	30.0	12780	0.0120	0.3466	0.8173	0.3802	0.3450	0.8229
0.0	31.0	13206	0.0120	0.3505	0.8171	0.3805	0.3507	0.8225
0.0	32.0	13632	0.0121	0.3502	0.8170	0.3794	0.3518	0.8225

Framework versions

Transformers 4.56.2
Pytorch 2.8.0+cu126
Datasets 4.0.0
Tokenizers 0.22.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 9c6feca