I.4Обработка документов и форм
В разделе собраны самостоятельные задачи, где AI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 180 моделейКарточка модели arjhinety/schemaforge-v2-distilled-minicpm5-1b на Hugging Face совпадает с карточкой arrochi112/schemaforge-v2-distilled-minicpm5-1b, поэтому описание составлено по ней. SchemaForge V2 — Distilled MiniCPM5-1B — это дообученная методом последовательной дистилляции компактная языковая модель проекта SchemaForge. Указанная в README базовая модель — openbmb/MiniCPM5-1B; метаданные описывают архитектуру как плотную LlamaForCausalLM с 837,6 млн параметров и контекстом до 131 072 токенов. Модель предназначена для извлечения полей из документов в JSON по 12 схемам: счетам, чекам, резюме, договорам, обращениям в поддержку, медицинским записям, страховым случаям, CRM-записям, письмам, диалогам, формам и триплетам графа знаний. Обучение проводилось на примерах, размеченных учителем google/gemma-4-31B. Лучший результат авторы получают при совместной работе модели с детерминированным предварительным извлечением: гибридная система показала F1 по полям 0,6827, частоту галлюцинаций 0,0092 и валидность схемы 0,8333 на тестовом наборе из 72 записей. Самостоятельный результат модели заметно слабее: F1 0,4841 и валидность схемы 0,8194; авторы рекомендуют запускать её в гибридном конвейере с соответствующим форматом запроса и списком неразобранных полей. Выявленная основная ошибка — пропуск полей; оценка уверенности без дополнительной калибровки ненадёжна. Модель выпущена под лицензией Apache-2.0.
SchemaForge V2 — Distilled MiniCPM5-1B — это дообученная методом последовательной дистилляции компактная языковая модель проекта SchemaForge. Указанная в README базовая модель — openbmb/MiniCPM5-1B; метаданные описывают архитектуру как плотную LlamaForCausalLM с 837,6 млн параметров и контекстом до 131 072 токенов. Модель предназначена для извлечения полей из документов в JSON по 12 схемам: счетам, чекам, резюме, договорам, обращениям в поддержку, медицинским записям, страховым случаям, CRM-записям, письмам, диалогам, формам и триплетам графа знаний. Обучение проводилось на примерах, размеченных учителем google/gemma-4-31B. Лучший результат авторы получают при совместной работе модели с детерминированным предварительным извлечением: гибридная система показала F1 по полям 0,6827, частоту галлюцинаций 0,0092 и валидность схемы 0,8333 на тестовом наборе из 72 записей. Самостоятельный результат модели заметно слабее: F1 0,4841 и валидность схемы 0,8194; авторы рекомендуют запускать её в гибридном конвейере с соответствующим форматом запроса и списком неразобранных полей. Выявленная основная ошибка — пропуск полей; оценка уверенности без дополнительной калибровки ненадёжна. Модель выпущена под лицензией Apache-2.0.
SLANeXt_wireless — модель PaddlePaddle для распознавания структуры таблиц на изображениях. Она определяет строки, столбцы и ячейки и формирует HTML-представление таблицы, которое можно передать в последующий конвейер распознавания для извлечения содержимого. Модель предназначена для оцифровки таблиц, в том числе в составе систем обработки документов на базе PaddleOCR. Модель решает задачу image-to-text; карточка связывает её с распознаванием структуры таблиц и указывает английский и китайский языки. README отмечает, что приведённая точность получена при совместном тестировании с SLANeXt_wired, поэтому её нельзя считать отдельной оценкой этой модели. Для полного распознавания таблиц документация рекомендует многошаговый конвейер, объединяющий анализ структуры с обнаружением и распознаванием текста. Модель распространяется по лицензии Apache-2.0.
Table Transformer Structure Recognition — модель обнаружения объектов на базе DETR, дообученная Microsoft на наборе PubTables1M для распознавания структуры таблиц в документах. Она находит элементы таблицы, включая строки и столбцы, на изображении или фрагменте документа. Модель построена на Transformer-архитектуре с нормализацией перед слоями self-attention и cross-attention. Веса содержат 6,3 млн параметров; модель опубликована в форматах PyTorch и Safetensors. Лицензия — MIT. Модель подходит для извлечения структуры таблиц из документов и последующей обработки их содержимого. Карточка описывает обнаружение строк и столбцов, но не заявляет о распознавании текста внутри ячеек; для полного извлечения данных может потребоваться отдельный OCR-компонент.
Typhoon-OCR-1.5-3B-QAT — мультимодальная модель для распознавания текста и разбора документов, разработанная Typhoon AI на базе Qwen2.5-VL-3B. Это версия с обучением с учётом квантования (QAT), выпущенная в формате bfloat16 и предназначенная для последующего преобразования в низкую точность, например 4-битную, с меньшей потерей качества. Архитектура — плотная vision-language модель Qwen2.5-VL с 3,1 млрд параметров и контекстом 128 000 токенов. Модель рассчитана на OCR на английском и тайском языках, включая рукописные заметки, формы, таблицы, чеки, диаграммы и документы со сложной или нерегулярной разметкой. Она предназначена для запуска на устройствах с ограниченными ресурсами и должна использоваться с предусмотренным форматом промпта. Это специализированная OCR-модель, а не универсальная система визуальных вопросов и ответов; в результатах возможны галлюцинации, поэтому их следует проверять перед производственным использованием. Лицензия — Apache-2.0.
UDOP-large-512 — модель семейства UDOP для обработки документов, представленная в работе Zineng Tang, Ziyi Yang и соавторов. Она использует архитектуру encoder-decoder Transformer на основе T5 и объединяет визуальную информацию, текст и структуру расположения элементов документа. Модель содержит 386,3 млн параметров и предназначена для классификации изображений документов, разбора документов и визуальных вопросов и ответов по документам (DocVQA). Модель принимает изображение документа и текстовый запрос или инструкцию и генерирует текстовый ответ либо результат разбора. Карточка описывает задачи обработки документов, но не сообщает поддерживаемые языки или длину контекста. Веса опубликованы в формате safetensors; лицензия — MIT.
Armaggheddon/yolo26-document-layout — набор из трёх моделей YOLOv26 (nano, small и medium), дообученных на DocLayNet v1.2 для анализа структуры документов. Модели на основе Ultralytics YOLO26 находят на изображениях 11 типов элементов: текст, заголовки, таблицы, иллюстрации, подписи, списки, формулы, колонтитулы и сноски. Репозиторий использует библиотеку Ultralytics и содержит веса PyTorch. Модель предназначена для выделения и классификации областей документа в конвейерах понимания документов и извлечения информации. В README рекомендуется nano-вариант для сценариев, где важна скорость; small и medium предлагают выбор в пользу большей точности при повышенных вычислительных затратах. Обучение проводилось на разрешении 1280×1280, поскольку уменьшение до 640×640 снижало качество обнаружения мелких элементов. Лицензия репозитория — MIT.
keremberke/yolov8s-table-extraction — модель компьютерного зрения на архитектуре YOLOv8, опубликованная Keremberke. Она предназначена для обнаружения таблиц на изображениях документов и различает два типа: с границами и без границ. Модель доступна в формате PyTorch и рассчитана на запуск с библиотекой Ultralytics. Модель подходит для автоматического поиска таблиц при разборе сканов и изображений документов. Карточка указывает метки классов, но не приводит сведений о размере модели, контекстном окне, поддерживаемых языках или точности. Лицензия в предоставленных данных не указана.
893ImagesJson — дообученная на неизвестном наборе данных модель naver-clova-ix/donut-base от Sagarjha456. Она использует архитектуру vision-encoder-decoder и предназначена для преобразования изображений в текст; карточка сообщает значение loss 0.4844 на наборе оценки. Подходящие сценарии — извлечение текста и структурированных сведений из изображений документов. Модель распространяется в формате safetensors по лицензии MIT. Описание не приводит подробностей о наборе данных, языках, качестве на конкретных типах документов или дополнительных ограничениях.
CRAFT (Character-Region Awareness For Text detection) — модель обнаружения текста на изображениях, опубликованная в репозитории Hezarai и предназначенная для использования с библиотекой Hezar версии 0.40.0 или новее. Она выделяет области с текстом и рассчитана на многоязычные изображения; в карточке отдельно отмечена поддержка персидского языка, также заявлена работа с другими языками. Модель подходит для поиска текстовых областей на сканах, фотографиях и других изображениях перед последующим распознаванием текста. Метаданные относят её к задаче object-detection; файлы репозитория представлены в формате PyTorch. README не приводит сведения о размере модели, длине контекста или лицензии.
Aryn публикует Deformable DETR, обученную на DocLayNet для обнаружения и разметки элементов макета документов на страницах. Модель принимает изображение страницы и предсказывает классы элементов вместе с ограничивающими рамками; обучение проводилось на 80 тысячах аннотированных страниц с 11 классами. Архитектура использует свёрточную основу и encoder-decoder Transformer с запросами объектов, а для классификации и координат рамок применяются отдельные выходные слои. Модель подходит для анализа макета документов и может использоваться в Aryn Partitioning Service. На DocLayNet указана метрика 57,1 box mAP. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README не приводит отдельного описания ограничений качества или поддерживаемых классов.
conjuncts/ditr-e15 — модель обнаружения объектов из экосистемы Transformers, опубликованная пользователем или организацией conjuncts. В метаданных она также помечена как table-transformer, поэтому ориентирована на задачи обнаружения элементов таблиц на изображениях или в документах. Модель содержит около 6,3 млн параметров и предназначена для использования через библиотеку Transformers. Её можно применять как компонент систем анализа документов, извлечения структуры таблиц и последующей обработки найденных областей. README не содержит сведений о разработчиках, лицензии, обучающих данных, поддерживаемых языках, архитектуре, длине контекста, метриках качества или ограничениях применения. Поэтому перед использованием в production необходимо отдельно проверить лицензионные условия, качество на целевых документах и устойчивость к различным форматам таблиц.
EXAONE 4.5-33B — открытая по весам мультимодальная модель LG AI Research для диалога и анализа изображений. Она сочетает причинную языковую модель с визуальным энкодером и содержит 33 млрд параметров, из которых около 1,29 млрд приходятся на визуальную часть. Архитектура использует плотные слои, гибридное внимание с локальными окнами и глобальными слоями; контекст — до 262 144 токенов. Модель предназначена для ответов на вопросы по изображениям и документам, распознавания и интерпретации их содержимого, а также для текстового диалога и рассуждений. Разработчик отмечает сильные результаты в понимании документов и корейских контекстов. Основные языки карточки — английский, корейский, испанский, немецкий, японский и вьетнамский. Для обслуживания рекомендуются оптимизированные движки, например vLLM, TensorRT-LLM или SGLang; запуск с длинным контекстом требует мощных GPU. Модель может выдавать неверные, предвзятые или неподходящие ответы, а её знания ограничены данными до декабря 2024 года. В метаданных указана лицензия «other»; конкретные условия следует сверять с лицензией репозитория и правилами LG AI Research.
gemma-4-E2B-it-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на смартфонах, ноутбуках, Raspberry Pi, IoT-устройствах и потребительских GPU, включая сценарии с llama.cpp. Модель подходит для агентных рабочих процессов, OCR, включая многоязычный и рукописный текст, анализа документов и PDF, понимания интерфейсов и экранов, диаграмм и объектов, помощи в программировании, извлечения структурированных данных и задач, требующих рассуждений. Заявлены 2,3 млрд эффективных параметров и 5,1 млрд параметров всего, 35 слоёв, 512-токенное скользящее окно, контекст до 128K токенов и словарь из 262K элементов. Модель поддерживает текст, изображения с переменным соотношением сторон и разрешением, а также аудио; предусмотрены настраиваемые режимы рассуждений. Указан английский язык. Доступны варианты BF16, F16 и квантизации от Q2_K до Q8_0, а также отдельные multimodal projector-файлы, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильные стороны модели — мультимодальность, большой контекст, локальное выполнение и низкие требования к ресурсам; заявлена оптимизация для чипов Qualcomm и MediaTek через Android AICore. Ограничения включают зависимость мультимодальных возможностей от совместимого projector-файла и программного обеспечения, а также отсутствие в README подробных результатов бенчмарков, сведений о поддерживаемых языках кроме английского и точных требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.
abhinand/GOT-OCR-2.0-unofficial — неофициальная публикация модели GOT-OCR-2.0, разработанной авторами работы «General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model». Это плотная модель семейства GOT с архитектурой GOTQwenForCausalLM и 463,8 млн параметров; веса опубликованы в формате safetensors. В метаданных указано контекстное окно 32 768 токенов. Модель предназначена для распознавания текста на изображениях: извлечения обычного и форматированного текста, детального OCR, обработки изображений с несколькими фрагментами и многостраничных наборов изображений. README описывает OCR-сценарии, но не перечисляет поддерживаемые языки, поэтому языковую поддержку определить нельзя. Карточка ограничивает применение исследованиями; лицензия также требует соблюдения условий Vary.
Idefics2-8b — мультимодальная модель компании Hugging Face, объединяющая зрительный энкодер SigLIP и языковую модель Mistral-7B. Модель содержит 8 млрд параметров, принимает текстовые запросы и одно или несколько изображений, в том числе в произвольном чередовании с текстом, и генерирует текстовые ответы. Основной язык карточки — английский. Лицензия — Apache 2.0. Модель предназначена для ответов на вопросы об изображениях, создания подписей, чтения текста на изображениях и документах, а также анализа диаграмм и графиков. Архитектура обрабатывает изображения с сохранением их исходного разрешения и соотношения сторон; поддерживается разрешение до 980 × 980 пикселей и разбиение на подизображения. Генерация изображений не поддерживается. Версия Idefics2-8b дообучена следовать инструкциям и подходит для использования без дополнительной настройки или как основа для дообучения под конкретные задачи. Обычно модель отвечает кратко; для длинных ответов авторы рекомендуют вариант idefics2-8b-chatty. Модель может выдавать фактически неверные ответы и вредные стереотипы, поэтому она не предназначена для принятия решений с серьёзными последствиями. Для работы с Transformers следует учитывать несовместимость версий 4.41.0–4.43.3 включительно.
Карточка модели DmitrySpartak/layoutlm-invoices на Hugging Face совпадает с карточкой impira/layoutlm-invoices, поэтому описание составлено по ней. Impira LayoutLM Invoices — дообученная мультимодальная модель семейства LayoutLM от команды Impira для ответов на вопросы по счетам-фактурам и другим документам. Модель содержит 151,8 млн параметров, использует архитектуру LayoutLMForQuestionAnswering и доступна в форматах PyTorch и Safetensors. Модель предназначена для извлечения ответов из документов с учётом их визуальной структуры и расположения текста. Её дообучали на закрытом наборе счетов-фактур, а также на SQuAD 2.0 и DocVQA для более общего понимания документов. Дополнительная классификационная голова позволяет предсказывать ответы из несмежных фрагментов текста, например корректно собирать адрес, разделённый другими элементами документа. Для использования разработчики рекомендуют DocQuery. Карточка указывает поддержку английского языка; метаданные задают контекст в 514 токенов. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, распространение производных работ на тех же условиях и ограничивает коммерческое использование.
Карточка модели faisalraza/layoutlm-invoices на Hugging Face совпадает с карточкой impira/layoutlm-invoices, поэтому описание составлено по ней. Impira LayoutLM Invoices — дообученная мультимодальная модель семейства LayoutLM от команды Impira для ответов на вопросы по счетам-фактурам и другим документам. Модель содержит 151,8 млн параметров, использует архитектуру LayoutLMForQuestionAnswering и доступна в форматах PyTorch и Safetensors. Модель предназначена для извлечения ответов из документов с учётом их визуальной структуры и расположения текста. Её дообучали на закрытом наборе счетов-фактур, а также на SQuAD 2.0 и DocVQA для более общего понимания документов. Дополнительная классификационная голова позволяет предсказывать ответы из несмежных фрагментов текста, например корректно собирать адрес, разделённый другими элементами документа. Для использования разработчики рекомендуют DocQuery. Карточка указывает поддержку английского языка; метаданные задают контекст в 514 токенов. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, распространение производных работ на тех же условиях и ограничивает коммерческое использование.
perlious-Savage/layoutlmv3-cord-extraction — модель Perlious-Savage для извлечения полей из изображений чеков. Она основана на LayoutLMv3-base от Microsoft и дообучена на датасете CORD-v2; архитектура LayoutLMv3 объединяет анализ текста, изображения и структуры документа. Модель с 151,8 млн параметров выполняет классификацию токенов и выделяет поля чека, размеченные 59 типами BIO, включая позиции меню, количество, цены, налоги, чаевые и суммы оплаты. Родной контекст — 514 токенов; карточка указывает английский язык. В README приведён entity-level F1 0,948 на тестовой выборке CORD-v2 из 100 документов, однако авторы отмечают, что оценка основана на одном запуске. Модель предназначена для извлечения данных из розничных чеков, а не для проверки KYC или регуляторного соответствия. Редкие категории извлекаются хуже; числа и разбор сумм рассчитаны на индонезийский формат, где точка обозначает разделитель тысяч. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.
oussama/layoutlmv3-finetuned-invoice — модель Oussama, дообученная на microsoft/layoutlmv3-base на наборе SROIE для классификации токенов в документах-счетах. Архитектура LayoutLMv3ForTokenClassification объединяет текстовые и визуальные признаки документа; модель содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. Основной сценарий — извлечение и разметка полей из изображений чеков и счетов, представленных с распознанным текстом и координатами токенов. В README указаны идеальные метрики на оценочной выборке SROIE, однако сведений о размере и составе выборки или проверке на других типах документов нет. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.
vikp/layout_segmenter — модель Vikas Paruchuri для сегментации макета страниц PDF на блоки. Она основана на LayoutLMv3 и применяется в проекте Marker для разбора PDF. Модель содержит около 151,8 млн параметров, использует архитектуру LayoutLMv3ForTokenClassification и предназначена для классификации токенов по типам областей страницы: подпись, сноска, формула, элемент списка, колонтитул, изображение, заголовок раздела, таблица, текст и название. Модель работает с текстом и пространственными признаками документа и выдаёт метки токенов. В доступных сведениях не указаны поддерживаемые естественные языки и лицензия; их нельзя надёжно определить по карточке. Карточка описывает применение для PDF, но не приводит подробных оценок качества или ограничений.
pierreguillou дообучил LayoutXLM Base от Microsoft на наборе DocLayNet для распознавания структуры документов на уровне абзацев. Модель LayoutLMv2 содержит 305,2 млн параметров и принимает текстовые токены вместе с расположением элементов на странице; для обработки использовались фрагменты до 512 токенов с перекрытием 128 токенов. На выходе она присваивает абзацам метки одного из 11 типов: заголовок, текст, список, таблица, иллюстрация, формула, подпись, сноска, верхний или нижний колонтитул и название документа. Модель предназначена для анализа PDF и других документов: она помогает выделять структуру страниц и подготавливать содержимое для поиска, извлечения данных и дальнейшей обработки. В README указаны F1 0,7739 и точность на уровне абзацев 86,55%; качество различается по классам, например, для нижних колонтитулов оно высокое, а для сносок и названий заметно ниже. В метаданных заявлены английский, немецкий, французский и японский языки. Лицензия — MIT.
MinerU2.5-2509-1.2B-GGUF — мультимодальная модель для анализа и разбора документов, разработанная OpenDataLab. Она предназначена для преобразования изображений документов и текстовых запросов в текстовые ответы, в частности для эффективного высокоразрешающего парсинга документов. Модель основана на архитектуре с разделёнными компонентами обработки зрения и языка (decoupled vision-language model), имеет размер 1,2 млрд параметров и распространяется в формате GGUF для запуска с llama.cpp. В карточке указаны поддерживаемые языки китайский и английский, а тип конвейера — image-text-to-text. Длина контекста, точный набор поддерживаемых форматов документов и сведения о конкретном уровне квантования не указаны. К сильным сторонам относятся ориентация на обработку документов высокого разрешения, мультимодальный ввод и возможность использования компактной 1,2-миллиардной версии в экосистеме GGUF. Ограничениями являются неизвестные из карточки показатели качества, подробности архитектуры, контекстное окно и требования к ресурсам; качество также может зависеть от выбранной квантованной версии. Модель распространяется по лицензии AGPL-3.0, поэтому условия её использования и интеграции следует проверять с учётом требований этой лицензии.
MonkeyOCR — модель для разбора документов, разработанная авторами Zhang Li и соавторами. Она использует парадигму Structure-Recognition-Relation: определяет структуру страницы, распознаёт содержимое и устанавливает отношения между элементами, формируя результат в Markdown. Модель принимает изображения документов и страницы PDF; для обработки PDF и каталогов с файлами в README описаны локальный запуск, API и демонстрационный интерфейс. MonkeyOCR предназначена для разбора китайских и английских документов. В карточке описаны варианты семейства на 1,2 млрд и 3 млрд параметров; для версии pro-1.2B заявлены более высокая скорость и сопоставимые результаты с вариантом pro-3B. Репозиторий содержит веса в формате safetensors и библиотеку MonkeyOCR. Авторы отмечают ограничения при работе с фотографиями текста, рукописным содержимым, традиционными китайскими и многоязычными текстами. Использование заявлено для академических исследований и некоммерческих целей.
NuExtract-v1.5-GGUF — квантованная в формате GGUF версия модели NuExtract-v1.5, разработанной Numind. Квантование предоставлено bartowski на основе llama.cpp. Модель представляет собой дообученную версию Phi-3.5 mini, предназначенную для извлечения структурированной информации из текста на основе заданного JSON-шаблона. Модель ориентирована на задачи NLP, где требуется преобразовать неструктурированный текст в данные фиксированной структуры: например, извлекать сущности, атрибуты и другие сведения по заранее описанной схеме. Заявлена поддержка английского, французского, испанского, немецкого, португальского и итальянского языков, а также работа с длинным контекстом. Точный размер контекстного окна, параметры модели, варианты квантования и результаты бенчмарков в README не указаны. Качество и полнота извлечения зависят от корректности JSON-шаблона; количественные ограничения и известные типичные ошибки не описаны. Модель распространяется по лицензии MIT.
google/paligemma-3b-ft-docvqa-896 — модель Google для ответов на вопросы по изображениям документов. Она относится к семейству PaliGemma: визуальная часть основана на SigLIP, языковая — на Gemma; модель принимает изображение и текстовый запрос и генерирует текстовый ответ. Суффикс названия указывает на настройку для DocVQA с разрешением изображений 896 пикселей; карточка описывает PaliGemma как модель для одношаговой обработки, а не для многоходового диалога. Модель предназначена для извлечения сведений из документов по вопросам на естественном языке — например, поиска значений и ответов, опирающихся на содержимое страницы. PaliGemma поддерживает несколько языков и может быть адаптирована под специализированные задачи визуального языка. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Gemma. Ответы могут быть неточными, а модель может неверно прочитать текст или интерпретировать документ. Она лучше работает с чётко сформулированными запросами; сложные или открытые задачи могут даваться хуже. Это не универсальная чат-модель: ввод изображения и текста рассчитан на один ход.
breezedeus/pix2text-table-rec — модель распознавания структуры таблиц для Pix2Text, основанная на Table Transformer и дообученная на наборах PubTables1M и FinTabNet.c. Это компактная модель на архитектуре DETR с Transformer-детектором объектов; в репозитории указано 6,3 млн параметров. Она предназначена для обнаружения таблиц и их элементов на изображениях документов, чтобы использовать результаты в конвейерах извлечения и распознавания табличной структуры. Модель принимает изображения документов и выдаёт обнаруженные объекты, в том числе области таблиц. Она описана как форк исходной модели Table Transformer с возможностью дальнейшего развития. Репозиторий распространяется по лицензии MIT. Карточка не приводит сведений о поддерживаемых языках или численном размере контекста; применимость зависит от качества изображения и соответствия документа типам таблиц, представленным в обучающих данных.
PP-DocBlockLayout — модель PaddlePaddle для локализации областей контента в документах. Она обучена на собственном наборе данных с китайскими и английскими научными статьями, презентациями, журналами с разными макетами, договорами, книгами, экзаменами, старинными книгами и исследовательскими отчётами. В основе архитектуры лежит RT-DETR-L; модель определяет один класс объектов — Region. Модель предназначена для обнаружения блоков в изображениях документов как этапа анализа макета и обработки документов. В карточке указана mAP@0.5 95,9% на собственной тестовой выборке из изображений статей, журналов, газет, отчётов, презентаций, экзаменационных работ и учебников. Модель распространяется по лицензии Apache-2.0.
Qwen2.5-VL-72B-Instruct-GGUF — мультимодальная instruct-модель семейства Qwen2.5-VL, разработанная Qwen и представленная в формате GGUF. Квантизация выполнена bartowski на основе llama.cpp версии b5317. Модель предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений, распознавания объектов, чтения и интерпретации текста, таблиц, графиков, значков, схем и элементов макета. Она также рассчитана на сценарии визуального агента с рассуждением и динамическим управлением инструментами, включая взаимодействие с компьютером и телефоном. Поддерживает структурированный вывод и формирование стабильного JSON, а также многоязычную работу. Заявленная длина контекста составляет 128 тысяч токенов. README не уточняет точную архитектуру, перечень поддерживаемых языков и параметры конкретного файла квантизации, поэтому производительность и требования к ресурсам зависят от выбранного варианта GGUF. Как и другие генеративные модели, модель может выдавать неточные, вредоносные или неподходящие результаты. Лицензия указана как qwen и other; подробные условия приведены в лицензии исходной модели Qwen2.5-VL-72B-Instruct.
Qwen2-VL-OCR-2B-Instruct — дообученная PrithivMLmods мультимодальная модель на базе Qwen/Qwen2-VL-2B-Instruct для распознавания текста на изображениях, преобразования изображений в текст и решения математических задач с выводом формул в LaTeX. Модель семейства Qwen2-VL имеет плотную архитектуру условной генерации, содержит 1,5 млрд параметров и работает с изображениями и текстовыми запросами; заявленная длина контекста — 32 768 токенов. Модель подходит для извлечения текста и формул из изображений, ответов на вопросы по визуальным материалам и диалоговой работы с изображениями. В карточке заявлена поддержка текста на английском и китайском, а также многих других языков внутри изображений. Унаследованные возможности базовой Qwen2-VL включают анализ видео, однако специальное дообучение здесь описано прежде всего для OCR и математических задач. Модель распространяется в формате Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит независимых оценок точности именно этой версии; заявленные характеристики базового семейства не гарантируют аналогичные результаты на всех типах документов и языках.