Характеристики

Контекст: 258 токенов
Параметры: 162 млн
Лицензия: Apache 2.0
Архитектура: roberta · dense
Библиотека: transformers
Опубликована: 30 апр 2024

Ссылки

Vi-Legal-PhoBert

Заполнение пропусковТекст → текст3 профессии

Вьетнамская RoBERTa-модель, дообученная на юридическом корпусе для предсказания замаскированных слов и работы с юридическим текстом.

96скачиваний за 30 дней1лайквеса обновлены30 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vi-Legal-PhoBert — модель для вьетнамского юридического текста, разработанная NghiemAbe на основе vinai/phobert-base-v2. Это RoBERTa-модель с 162,4 млн параметров, дообученная продолжительным MLM-предобучением на юридическом корпусе в течение 154 600 шагов. Она предсказывает замаскированные токены и подходит для языкового моделирования и извлечения контекстных представлений в юридических текстах.

Сценарии применения

предсказание пропущенных слов во вьетнамских юридических документах
получение контекстных представлений юридических текстов
адаптация языковых моделей к вьетнамской юридической терминологии

Ограничения

Контекст ограничен 258 токенами; модель ориентирована на вьетнамский юридический текст и не предназначена для генерации развернутых ответов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Phobert Base model with Legal domain

Experiment performed with Transformers version 4.38.2
Vi-Legal-PhoBert model for Legal domain based on vinai/phobert-base-v2, then continued MLM pretraining for 154600 steps with token-level on Legal Corpus so the model can learn to legal domain.

Usage

Fill mask example:

from transformers import RobertaForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("NghiemAbe/Vi-Legal-PhoBert")
model = RobertaForMaskedLM.from_pretrained("NghiemAbe/Vi-Legal-PhoBert")

Metric

I evaluated my Dev-Legal-Dataset and here are the results:

Model	Paramaters	Language Type	Length	R@1	R@5	R@10	R@20	R@100	MRR@5	MRR@10	MRR@20	MRR@100	Accuracy Masked
vinai/phobert-base-v2	125M	vi	256	0.266	0.482	0.601	0.702	0.841	0.356	0.372	0.379	0.382	0.522
FacebookAI/xlm-roberta-base	279M	mul	512	0.012	0.042	0.064	0.091	0.207	0.025	0.028	0.030	0.033	x
Geotrend/bert-base-vi-cased	179M	vi	512	0.098	0.175	0.202	0.241	0.356	0.131	0.136	0.139	0.142	x
NlpHUST/roberta-base-vn	x	vi	512	0.050	0.097	0.126	0.163	0.369	0.071	0.076	0.078	0.083	x
aisingapore/sealion-bert-base	x	mul	512	0.002	0.007	0.021	0.036	0.106	0.003	0.005	0.006	0.008	x
Vi-Legal-PhoBert	125M	vi	256	0.290	0.560	0.707	0.819	0.935	0.410	0.430	0.437	0.440	0.8401

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 1ad5c52