/ Модель

Характеристики

Контекст
514 токенов
Параметры
212 млн
Лицензия
cc
Архитектура
roberta · dense
Базовая модель
legal-xlm-roberta-base
Опубликована
8 апр 2024

bert-leg-al-corpus

Заполнение пропусковТекст → текст3 профессии

Дообученная многоязычная RoBERTa для предсказания пропущенных токенов, основанная на модели для юридических текстов.

27скачиваний за 30 дней0лайковвеса обновлены11 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bert-leg-al-corpus — модель на базе многоязычной RoBERTa, дообученная desarrolloasesoreslocales на наборе данных, обозначенном в карточке как None. Она предназначена для предсказания пропущенных токенов в тексте: по контексту модель подбирает вероятные слова или части слов на месте маски. Архитектура — RobertaForMaskedLM, размер — 211,6 млн параметров, максимальная длина контекста — 514 токенов. Базовая модель была предварительно обучена на юридических текстах.

Карточка приводит значение loss 1,7948 на оценочном наборе, но не раскрывает его состав, языки и подробности обучения, поэтому результат нельзя интерпретировать как оценку качества для конкретного применения. Модель распространяется под лицензией CC; конкретные условия следует сверять с карточкой лицензии на Hugging Face.

Сценарии применения

  • подстановка пропущенного слова в юридическом тексте
  • анализ вероятных продолжений замаскированного фрагмента
  • получение контекстных кандидатов для юридической терминологии

Ограничения

README не раскрывает языки дообучения, состав данных и подробности оценки; указанный loss не позволяет судить о качестве на конкретных задачах. Модель предназначена для предсказания токенов и сама по себе не является специализированной системой юридических ответов или консультаций.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-leg-al-corpus

This model is a fine-tuned version of joelniklaus/legal-xlm-roberta-base on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 1.7948

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-06
  • train_batch_size: 16
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 4

Training results

Training LossEpochStepValidation Loss
1.86790.42191001.8208
1.86230.84392001.8081
1.89871.26583001.8153
1.86591.68784001.7836
1.86852.10975001.7825
1.87342.53166001.7903
1.91242.95367001.7771
1.88753.37558001.7819
1.90293.79759001.8032

Framework versions

  • Transformers 4.41.2
  • Pytorch 2.3.0+cu121
  • Datasets 2.19.2
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
4e5e0ad

0 моделей