Характеристики

Контекст: 512 токенов
Параметры: 127 млн
Лицензия: MIT
Архитектура: t5 · dense
Базовая модель: pretrain_Law_model_vit5_version1
Опубликована: 4 сен 2023

Ссылки

Hugging Face

pretrain_Law_model_vit5_version2

KingLTD

Языковая модель3 профессии

Дообученная юридическая модель T5 для генерации текста по текстовому запросу, ориентированная на вьетнамский язык.

23скачиваний за 30 дней0лайковвеса обновлены4 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KingLTD/pretrain_Law_model_vit5_version2 — дообученная модель семейства T5, разработанная KingLTD на основе KingLTD/pretrain_Law_model_vit5_version1. Это плотная encoder-decoder модель с 126,8 млн параметров, предназначенная для генерации текста по текстовому запросу; базовая модель описана как вьетнамская и юридически ориентированная, поэтому версия подходит для текстовых задач в правовой области на вьетнамском языке.

В README приведены результаты оценки: Loss 0,1644, ROUGE-1 0,4902, ROUGE-2 0,3828, ROUGE-L 0,4363 и ROUGE-Lsum 0,4521; конкретная задача и набор данных не раскрыты. Контекст составляет 512 токенов. Модель распространяется по лицензии MIT.

Сценарии применения

генерация юридических текстов на вьетнамском языке
подготовка черновиков ответов по правовым вопросам
суммаризация юридических документов на вьетнамском языке

Ограничения

Назначение, обучающий набор данных и конкретные целевые задачи подробно не описаны. Контекст ограничен 512 токенами; приведённые метрики не сопровождаются описанием оценочного набора.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pretrain_Law_model_vit5_version2

This model is a fine-tuned version of KingLTD/pretrain_Law_model_vit5_version1 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.1644
Rouge1: 0.4902
Rouge2: 0.3828
Rougel: 0.4363
Rougelsum: 0.4521

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum
No log	1.0	245	0.1692	0.4844	0.3722	0.4279	0.4439
No log	2.0	490	0.1664	0.4846	0.3719	0.4261	0.4442
0.2198	3.0	735	0.1636	0.4840	0.3752	0.4292	0.4443
0.2198	4.0	980	0.1628	0.4878	0.3754	0.4300	0.4468
0.178	5.0	1225	0.1621	0.4871	0.3791	0.4349	0.4494
0.178	6.0	1470	0.1625	0.4881	0.3782	0.4328	0.4495
0.1466	7.0	1715	0.1636	0.4910	0.3837	0.4383	0.4538
0.1466	8.0	1960	0.1633	0.4890	0.3802	0.4343	0.4506
0.1307	9.0	2205	0.1642	0.4904	0.3836	0.4364	0.4531
0.1307	10.0	2450	0.1644	0.4902	0.3828	0.4363	0.4521

Framework versions

Transformers 4.32.1
Pytorch 2.0.1+cu118
Datasets 2.14.4
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: a7880e1