Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: CC BY 4.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Опубликована: 29 сен 2026

Ссылки

bert-legal-genre

Заполнение пропусковТекст → текст3 профессии

BERT, продолжительно предобученная на юридических текстах английского языка для восстановления пропущенных слов с учётом жанровых маркеров.

31скачиваний за 30 дней0лайковвеса обновлены29 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Anas Belfathi и соавторы создали BERT Legal Genre — модель BERT для заполнения пропусков в юридических текстах. Это версия bert-base-uncased, продолжительно предобученная на корпусе LexFiles с выборочным маскированием: чаще скрывались слова, задающие структуру и стиль юридического дискурса, например ordered, allowed и acquitted. Модель имеет 136,7 млн параметров, принимает текстовые фрагменты длиной до 512 токенов и обучена на материалах Европейского суда по правам человека, судебных дел ЕС и индийских судебных дел.

Модель предназначена для восстановления пропущенных слов и изучения языковых закономерностей юридических документов на английском языке. Выборочное маскирование ориентировано на юридические маркеры и жанровые особенности корпуса, но само по себе не подтверждает качество для юридических консультаций, классификации дел или иных задач, отличных от заполнения пропусков. Лицензия — CC BY 4.0.

Сценарии применения

восстановление пропущенных слов в судебных решениях
подстановка пропущенных юридических терминов в английских документах
адаптация языковых моделей к корпусам судебной практики
изучение языковых закономерностей юридического дискурса

Ограничения

Контекст ограничен 512 токенами, а обучение проводилось на английских судебных текстах из ЕС, ЕСПЧ и Индии; применимость к другим языкам и видам юридических документов не установлена. Модель обучена для заполнения пропусков и не предназначена для самостоятельных юридических консультаций.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BERT Legal (Genre-masked, continual pretraining)

bert-base-uncased continually pretrained (MLM) on a legal corpus, using genre-based selective masking (meta-discourse weighted) instead of random masking: during training, structural/stylistic markers that organize legal discourse (e.g. "ordered", "allowed", "acquitted") are masked preferentially.

Training data

A subset of lexlms/lex_files covering ECtHR case law, EU case law, and Indian case law.

Training

Base model: bert-base-uncased
Objective: masked language modeling, 15% masking rate, words sampled proportionally to their meta-discourse weight
10 epochs, chunk size 512, effective batch size 1024, learning rate 2e-5

Method

The masking strategy follows:

Belfathi, A., Gallina, Y., Hernandez, N., Monceaux, L., & Dufour, R. (2025). Is Selective Masking A Key to Improving Domain Adaptation for Masked Language Model? ICAIL 2025. doi:10.1145/3769126.3769216

Usage

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("AnasBelfathi/bert-legal-genre")
model = AutoModelForMaskedLM.from_pretrained("AnasBelfathi/bert-legal-genre")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 56b37ef