/ Модель

Характеристики

Контекст
514 токенов
Параметры
454 млн
Лицензия
CC BY-NC-SA 4.0
Архитектура
layoutlmv3 · dense
Опубликована
18 апр 2022

layoutlmv3-large

Языковая модель9 профессий

Мультимодальный Transformer Microsoft для извлечения и анализа текста, изображений и структуры документов.

62 762скачиваний за 30 дней129лайковвеса обновлены16 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LayoutLMv3-large — мультимодальный предварительно обученный Transformer для анализа документов, разработанный Microsoft. Модель объединяет текстовые и визуальные представления документов и использует единые задачи маскирования текста и изображений. Размер модели — 454,1 млн параметров; доступны форматы PyTorch и TensorFlow, контекст — 514 токенов.

Модель предназначена для дообучения под задачи Document AI: извлечения и понимания информации в формах и чеках, визуальных ответов на вопросы по документам, классификации изображений документов и анализа их структуры. Поддерживаемый язык карточки — английский. Модель выпущена под лицензией CC BY-NC-SA 4.0, которая предусматривает некоммерческое использование и распространение производных работ на тех же условиях.

Сценарии применения

  • извлечение полей из форм
  • понимание чеков и извлечение данных о покупках
  • ответы на вопросы по изображениям документов
  • классификация изображений документов
  • анализ структуры и расположения элементов документа

Ограничения

Это предварительно обученная модель, которую требуется дообучить для конкретной задачи. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LayoutLMv3

Microsoft Document AI | GitHub

Model description

LayoutLMv3 is a pre-trained multimodal Transformer for Document AI with unified text and image masking. The simple unified architecture and training objectives make LayoutLMv3 a general-purpose pre-trained model. For example, LayoutLMv3 can be fine-tuned for both text-centric tasks, including form understanding, receipt understanding, and document visual question answering, and image-centric tasks such as document image classification and document layout analysis.

LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking Yupan Huang, Tengchao Lv, Lei Cui, Yutong Lu, Furu Wei, Preprint 2022.

Citation

If you find LayoutLM useful in your research, please cite the following paper:

@inproceedings{huang2022layoutlmv3,
  author={Yupan Huang and Tengchao Lv and Lei Cui and Yutong Lu and Furu Wei},
  title={LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking},
  booktitle={Proceedings of the 30th ACM International Conference on Multimedia},
  year={2022}
}

License

The content of this project itself is licensed under the Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0). Portions of the source code are based on the transformers project. Microsoft Open Source Code of Conduct

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Ревизия весов
69f2d8f

0 моделей