/ Модель

Характеристики

Контекст
4 098 токенов
Параметры
129 млн
Архитектура
longformer · dense

Lawformer

Заполнение пропусковТекст → текст3 профессии

Предобученная модель Longformer для работы с длинными юридическими документами на китайском языке и заполнения маскированных токенов.

24скачиваний за 30 дней7лайковвеса обновлены5 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

xcjthu/Lawformer — исследовательская предобученная языковая модель для длинных юридических документов на китайском языке, описанная в статье «Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents». Модель построена на архитектуре Longformer и содержит 129,5 млн параметров; в метаданных указан контекст до 4098 токенов.

В репозитории опубликован чекпойнт для использования через Transformers и PyTorch. Пример показывает обработку китайского юридического текста; задача в метаданных — заполнение маскированных токенов. Лицензия в предоставленных данных не указана.

Сценарии применения

  • заполнение пропусков в китайских юридических текстах
  • получение контекстных представлений длинных китайских правовых документов
  • эксперименты с языковыми моделями для китайского юридического корпуса

Ограничения

Модель предназначена для китайских юридических длинных документов; качество на других языках и вне правовой области не подтверждено. Лицензия не указана в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Lawformer

Introduction

This repository provides the source code and checkpoints of the paper "Lawformer: A Pre-trained Language Model forChinese Legal Long Documents". You can download the checkpoint from the huggingface model hub or from here.

Easy Start

We have uploaded our model to the huggingface model hub. Make sure you have installed transformers.

>>> from transformers import AutoModel, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("hfl/chinese-roberta-wwm-ext")
>>> model = AutoModel.from_pretrained("xcjthu/Lawformer")
>>> inputs = tokenizer("任某提起诉讼,请求判令解除婚姻关系并对夫妻共同财产进行分割。", return_tensors="pt")
>>> outputs = model(**inputs)

Cite

If you use the pre-trained models, please cite this paper:

@article{xiao2021lawformer,
  title={Lawformer: A Pre-trained Language Model forChinese Legal Long Documents},
  author={Xiao, Chaojun and Hu, Xueyu and Liu, Zhiyuan and Tu, Cunchao and Sun, Maosong},
  year={2021}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
LongformerForMaskedLM
Ревизия весов
860b4e2

0 моделей