/ Модель

Характеристики

Контекст
514 токенов
Параметры
305 млн
Лицензия
CC BY-NC-SA 4.0
Архитектура
layoutlmv2 · dense
Опубликована
2 мар 2022

layoutxlm-base

Языковая модель6 профессий

Мультимодальная модель Microsoft для многоязычного понимания документов с учетом текста, его расположения и изображения страницы.

277 тыс.скачиваний за 30 дней80лайковвеса обновлены16 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LayoutXLM — мультимодальная предобученная модель Microsoft для понимания многоязычных документов с визуально значимым содержимым. Это многоязычный вариант LayoutLMv2: модель объединяет текст, расположение элементов на странице и изображение документа. В репозитории указано 305,2 млн параметров и контекст до 514 токенов.

Модель предназначена для задач document AI, где смысл зависит от сочетания текста и его размещения на странице, включая работу с документами на разных языках. В экспериментах на наборе XFUND она превзошла прежние кросс-язычные предобученные модели. Карточка описывает предобученную основу, а не специализированную прикладную систему; конкретные downstream-задачи зависят от дообучения и используемой модели-головы.

Для весов указана лицензия CC BY-NC-SA 4.0, предусматривающая некоммерческое использование и распространение производных на тех же условиях с указанием авторства. Модель доступна в формате PyTorch.

Сценарии применения

  • понимание структуры многоязычных документов
  • извлечение сущностей из форм и документов после дообучения
  • анализ расположения текста на страницах сканированных документов
  • создание кросс-язычных систем обработки документов

Ограничения

Для прикладных задач может потребоваться дообучение с подходящей модельной головой; конкретные языки в предоставленных данных не перечислены. Лицензия ограничивает использование некоммерческими условиями.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LayoutXLM

Multimodal (text + layout/format + image) pre-training for document AI

LayoutXLM is a multilingual variant of LayoutLMv2.

The documentation of this model in the Transformers library can be found here.

Microsoft Document AI | GitHub

Introduction

LayoutXLM is a multimodal pre-trained model for multilingual document understanding, which aims to bridge the language barriers for visually-rich document understanding. Experiment results show that it has significantly outperformed the existing SOTA cross-lingual pre-trained models on the XFUND dataset.

LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding

Yiheng Xu, Tengchao Lv, Lei Cui, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Furu Wei, arXiv Preprint 2021

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Ревизия весов
8e04ebc

0 моделей