/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
40,8 млн
Лицензия
CC BY-SA 4.0
Архитектура
bert · dense
Опубликована
9 авг 2022

Ссылки

Hugging Face

legal-bert-small-cuad

alex-apostolo
Ответы на вопросыТекст → текст4 профессии

Компактная BERT-модель для извлечения ответов на вопросы по юридическим документам и договорам.

49скачиваний за 30 дней0лайковвеса обновлены9 авг 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

alex-apostolo/legal-bert-small-cuad — дообученная версия nlpaueb/legal-bert-small-uncased для ответов на вопросы по юридическим документам. Модель построена на архитектуре BERT, содержит 40,8 млн параметров и принимает текстовые запросы и фрагменты документов; максимальная длина контекста — 512 токенов. Она дообучена на наборе CUAD и предназначена для извлечения ответов на вопросы по договорам. В карточке указана потеря 0,0371 на оценочном наборе, но подробности оценки не приведены. Лицензия — CC-BY-SA-4.0.

Сценарии применения

  • поиск ответов на вопросы в договорах
  • извлечение условий и положений из контрактов
  • проверка договора по заданному вопросу
  • поиск нужных фрагментов в юридическом документе

Ограничения

Контекст ограничен 512 токенами, поэтому длинные документы могут потребовать разбиения на фрагменты. README не приводит подробностей оценки качества или ограничений применения.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельIV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейI.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

legal-bert-small-uncased-cuad

This model is a fine-tuned version of nlpaueb/legal-bert-small-uncased on the cuad dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0371

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 3

Training results

Training LossEpochStepValidation Loss
0.05651.0110810.0411
0.04892.0221620.0364
0.04093.0332430.0371

Framework versions

  • Transformers 4.21.1
  • Pytorch 1.12.0+cu113
  • Datasets 2.4.0
  • Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForQuestionAnswering
Ревизия весов
1f5337a

0 моделей

    Создать бенчмарк