Итальянская юридическая BERT-модель с разреженным вниманием для заполнения пропусков и обработки длинных текстовых последовательностей.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
LSG16K-Italian-Legal-BERT — версия итальянской модели ITALIAN-LEGAL-BERT, преобразованная с помощью LSG-конвертера: полное внимание в энкодере заменено механизмом Local-Sparse-Global. Модель содержит 137,9 млн параметров и рассчитана на последовательности длиной до 16 384 токенов; используются 7 глобальных токенов, локальные и разреженные блоки размером 128 токенов, а разреженные токены выбираются по норме. Опубликована dlicari и предназначена для языковой обработки итальянских юридических текстов.
Основной сценарий — заполнение пропусков в тексте с помощью masked language modeling. Архитектура BERT также поддерживает задачи классификации текста и токенов, ответы на вопросы и multiple choice, однако карточка не описывает отдельную специализацию или качество для этих сценариев. Модель принимает текст и выдаёт текстовые предсказания. Лицензия — AFL-3.0.
Карточка сообщает о преобразовании внимания и максимальной длине последовательности, но не приводит оценок качества или результатов тестирования. Модель ориентирована на итальянский язык и юридические тексты.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Local-Sparse-Global version of ITALIAN-LEGAL-BERT by replacing the full attention in the encoder part using the LSG converter script (https://github.com/ccdv-ai/convert\_checkpoint\_to\_lsg). We used the LSG attention with 16,384 maximum sequence length, 7 global tokens, 128 local block size, 128 sparse block size, 2 sparsity factors, 'norm' sparse selection pattern (select the highest norm tokens).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…