I.3Извлечение и структурирование данных

Hiro-MOSS-OCR-0.3B — компактная мультимодальная модель OCR от PatSnap, обученная с нуля на более чем 50 млн примеров для распознавания содержимого документов по отдельным областям изображения. Она преобразует изображения в структурированную разметку: формулы записывает в LaTeX, таблицы — в HTML, основной текст — в Markdown. Модель насчитывает около 320,8 млн параметров и использует визуальный энкодер NaViT с 2D RoPE и коннектор SwiGLU с объединением патчей; поддерживает изображения произвольного разрешения. Модель предназначена для извлечения текста, распознавания формул и восстановления таблиц в документах на японском, китайском и английском языках. Её можно применять для оцифровки документов, обработки научных материалов и преобразования табличных или математических фрагментов в пригодную для дальнейшей обработки разметку. Для ускоренного локального запуска и обслуживания предусмотрены CUDA Graph и vLLM; быстрый путь через Transformers указан как более медленный и подходящий для пробных запусков и небольших одиночных изображений. Веса опубликованы в форматах FP32 и BF16, лицензия — Apache-2.0. README приводит сравнительные результаты на OmniDocBench и внутреннем патентном тесте, но доступные данные не дают оснований обобщать их на все документы и условия съёмки.

Модель davanstrien/index-card-extractor-control — дообученная davanstrien версия NuMind NuExtract3 на архитектуре Qwen3.5. Она принимает изображения и текст и предназначена для извлечения структурированных данных из изображений карточек. В метаданных отмечены поддержка зрения и диалоговый режим; веса опубликованы в формате safetensors. Модель выпущена под лицензией Apache-2.0. README сообщает, что при обучении использовались Unsloth и библиотека TRL от Hugging Face. Сведения о размере этой версии, длине контекста, целевых языках и точности извлечения не приведены.

InvoiceNER — компактная модель распознавания именованных сущностей для коммерческих счетов, разработанная FlowX.AI как часть семейства OpenNER. Она дообучена на answerdotai/ModernBERT-base и размечает фрагменты текста девятью типами сущностей: DATE, IBAN, INVOICE_NO, NET, PO_NO, SUPPLIER, TAX, TOTAL и VAT_ID. Модель содержит 149 млн параметров, использует архитектуру ModernBERT для классификации токенов и поддерживает контекст до 8192 токенов. Предназначена для извлечения дат, номеров и сумм из счетов на CPU, Apple Silicon, GPU, а также в браузере или на периферийных устройствах через ONNX с INT8. По заявлению карточки, обработка занимает около 100–160 мс на документ на CPU; развёртывание возможно локально или в изолированной сети, чтобы документы не покидали инфраструктуру. Указанная лицензия — Apache-2.0. Оценка F1 1,0 получена на синтетических данных из того же генератора, что использовался для обучения, и отражает проверку обучающего конвейера, а не точность на реальных документах. Модель только выделяет фрагменты и не проверяет контрольные суммы или корректность идентификаторов; качество следует проверить на собственных счетах.

Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

Kosmos-2.5 — мультимодальная модель Microsoft для чтения изображений с большим количеством текста, например документов. Она использует авторегрессионный Transformer с общим декодером и предназначена для распознавания текста на уровне документа и преобразования изображения в структурированный Markdown. Модель может выдавать текстовые блоки с пространственными координатами или сохранять структуру и оформление документа в Markdown. Модель принимает изображения и текстовые инструкции и генерирует текст. Её можно адаптировать с помощью supervised fine-tuning для других задач понимания изображений с текстом. Для запуска используется библиотека Transformers версии 4.56 или новее. Модель распространяется по лицензии MIT. Результаты распознавания и преобразования могут содержать галлюцинации, поэтому точность извлечённого текста и Markdown не гарантируется.

hantian/layoutreader — модель на базе LayoutLMv3 для предсказания порядка чтения элементов документа. Она принимает ограничивающие рамки (bounding boxes), извлечённые из PDF или распознанные OCR, и определяет, в каком порядке их следует читать. Это полезно для восстановления последовательности текста и структуры страниц при обработке документов. Модель содержит 454,1 млн параметров, использует архитектуру LayoutLMv3 и работает с контекстом до 514 токенов. В метаданных Hugging Face для неё указан pipeline token-classification; веса доступны в форматах PyTorch и Safetensors. Карточка не уточняет поддерживаемые языки и конкретные ограничения качества. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространения производных материалов на тех же условиях, а также ограничивает коммерческое использование.

lift-MLX-BF16 — конверсия модели datalab-to/lift в формат MLX с точностью bf16, подготовленная сообществом для запуска на компьютерах Apple Silicon через mlx-vlm. Это плотная vision-language модель семейства Qwen3.5 с 9 млрд параметров для извлечения структурированных данных из PDF и изображений и формирования JSON по заданной схеме. Модель подходит для разбора счетов и других документов, когда нужно получить поля в заданном формате. Сервер mlx_vlm может применять JSON Schema при декодировании, чтобы ограничивать структуру результата. В README приведены показатели исходной модели lift на бенчмарке из 225 документов; они не являются отдельной оценкой этой конверсии. Для варианта bf16 указаны размер около 18 ГБ и пиковое потребление памяти около 19,9 ГБ при тестировании на Apple M5 Max; эти значения ориентировочные. Репозиторий содержит веса safetensors, пересохранённые в MLX без квантизации. Лицензия — OpenRAIL. Конверсия создана сообществом и не связана с Datalab; README отмечает исправление настройки EOS для корректного завершения генерации в MLX-серверах.

LiLT-SER-ES — модель для разметки токенов в документах, созданная дообучением nielsr/lilt-xlm-roberta-base на датасете XFUND. Она использует архитектуру LiLT с XLM-RoBERTa и предназначена для извлечения структурированной информации из документов с учётом текста и его расположения на странице. Модель содержит 305,2 млн параметров, принимает текстовые данные и имеет контекст до 514 токенов. В оценке на тестовой выборке XFUND достигнуты precision 0,6719, recall 0,6734, F1 0,6726 и accuracy 0,7463. Репозиторий распространяется по лицензии MIT.

LiLT-SER-ZH — модель для классификации токенов в документах, разработанная дообучением nielsr/lilt-xlm-roberta-base на наборе данных XFUND. Архитектура LiLTForTokenClassification сочетает обработку текста с учётом его расположения на странице и основана на XLM-RoBERTa; модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Модель предназначена для извлечения и разметки информации в документах, в частности для распознавания сущностей с учётом структуры страницы. На оценочной выборке указаны F1 0,8853, точность 0,8408 и полнота 0,9348. Репозиторий содержит веса в формате Safetensors; лицензия — MIT. Поддерживаемый язык явно не указан в карточке.

Модель на 305,2 млн параметров — дообученная версия nielsr/lilt-xlm-roberta-base для поклассовой классификации токенов в документах. Архитектура LiLT использует текстовое представление XLM-RoBERTa и предназначена для задач понимания структуры документов; этот чекпойнт связан с набором FUNSD и разметкой IOB. Модель подходит для извлечения и классификации элементов в формах и документах, например для распознавания полей и их ролей. Максимальная длина контекста — 514 токенов. В README приведены результаты оценки: F1 0,7478, точность 0,7252 и полнота 0,7718. Весовые файлы представлены в формате PyTorch. Лицензия — MIT. Описание обучения и ограничений в карточке не раскрывает деталей, поэтому результаты на других типах документов и языках могут отличаться.

Модель разработана Pierre Guillou и представляет собой LiLT на базе XLM-RoBERTa, дообученную для анализа структуры документов на абзацном уровне. Она классифицирует фрагменты документа по 11 типам: подпись, сноска, формула, элемент списка, колонтитулы, заголовок раздела, изображение, таблица, текст и заголовок документа. Модель использует текст и пространственные признаки разметки страницы; при обработке абзацы разбиваются на фрагменты до 512 токенов с перекрытием 128 токенов. Размер составляет 305,2 млн параметров, контекст — 514 токенов. Модель предназначена для извлечения структуры из PDF и других документов, включая финансовые отчёты, руководства, научные статьи, законы, нормативные документы, патенты и государственные тендеры. В README указаны точность классификации токенов 86,34% и абзацев 68,15%; качество заметно различается между классами, а для сносок и заголовков документа приведён нулевой результат на оценочном наборе. Метаданные указывают языки английский, немецкий, французский и японский, а также лицензию MIT.

akdeniz27 выпустил модель распознавания именованных сущностей на турецком языке. Это дообученная для NER модель microsoft/mDeBERTa-v3-base на проверенной версии известного набора данных для турецкого NER; архитектура — DeBERTa V2 для классификации токенов, около 306 млн параметров. Модель принимает текст и размечает в нём персон, организации и географические названия. Модель подходит для извлечения сущностей из турецких текстов, например для подготовки данных к поиску, аналитике или последующей обработке документов. Максимальная длина последовательности — 512 токенов. Опубликованные веса доступны в форматах PyTorch и Safetensors по лицензии MIT.

Megalodon-OCR-Sync-0713-AIO-GGUF — мультимодальная модель, разработанная prithivMLmods. Это GGUF-версия Megalodon-OCR-Sync-0713, дообученной на базе Qwen2.5-VL-3B-Instruct. Модель предназначена для обработки изображений и текста, включая OCR, извлечение и анализ содержимого документов, а также работу с визуальными данными. Модель ориентирована на поиск и извлечение информации из документов разных типов и форматов, распознавание структурированных и неструктурированных данных, таблиц, графиков, математических выражений и других визуальных представлений. Она поддерживает контекстный анализ сложных и длинных документов, форматирование результатов в LaTeX, мультиязычный анализ, визуальное позиционирование объектов для управления устройствами и понимание видео длительностью более 20 минут. Заявлены английский и китайский языки. Объём контекста в README не указан. Доступны варианты квантования GGUF от F16 размером 6,18 ГБ до компактных вариантов менее 1 ГБ, что позволяет выбирать баланс между качеством и требованиями к ресурсам. Сильными сторонами являются специализация на OCR и документах, работа с разнообразными визуальными структурами и применимость в образовательных и корпоративных сценариях. Ограничениями являются значительные требования к вычислительным ресурсам, а также возможное снижение качества на изображениях низкого качества и при работе с редкими языками. Лицензия — Apache 2.0.

moonstruxx/MinerU2.5-2509-1.2B-mlx-fp16 — преобразованная в формат MLX модель на основе MinerU2.5-2509-1.2B от OpenDataLab. Это компактная зрительно-языковая модель семейства Qwen2-VL для извлечения текста и структуры из изображений документов, включая таблицы и формулы. Она принимает изображения с текстовыми запросами и формирует текстовый ответ; контекст составляет 16 384 токена, число параметров в метаданных указано как 494 млн. В README указано преобразование с помощью mlx-lm 0.26.4, а веса представлены в fp16. Модель подходит для распознавания и структурированного разбора документов. В карточке заявлены китайский и английский языки. Репозиторий распространяется по лицензии AGPL-3.0. Поскольку это конверсия базовой модели, её возможности и ограничения зависят от исходной MinerU2.5; README не приводит отдельных результатов оценки качества.

MiniCPM5-Vision-2B — мультимодальная модель компьютерного зрения и языка, опубликованная ewin-reg. Она сочетает визуальный энкодер SigLIP-SO400M-Patch14-384 с языковой основой openbmb/MiniCPM5-2B через обучаемый проектор и использует динамическое разбиение изображений на фрагменты. Языковая часть содержит 2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для анализа изображений высокого разрешения, распознавания текста в документах, извлечения табличных данных и ответов на вопросы по изображениям и диаграммам. В README описано дообучение с LoRA и учебная программа, включающая DocVQA и ChartQA; метаданные также указывают визуальную привязку. Карточка заявляет поддержку английского и китайского языков. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Заявленные результаты обучения и оценки приведены в README, однако его таблица бенчмарков неполна, а независимые показатели качества не представлены. Для обработки изображений высокого разрешения применяется разбиение на фрагменты, поэтому подробные изображения могут требовать больше вычислительных ресурсов.

mychen76/mistral7b_ocr_to_json_v1 — дообученная языковая модель Mistral-7B, созданная для преобразования распознанного OCR-текста чеков и счетов в структурированный JSON. Входом служит текст и текстовые блоки, полученные внешним OCR-сервисом; модель не обрабатывает изображения напрямую. Основные сценарии — извлечение полей из чеков и счетов, в том числе на английском и немецком языках. Модель имеет плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Она дообучена на датасете mychen76/invoices-and-receipts_ocr_v1. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0. В README модель обозначена как экспериментальная, поэтому качество структурирования следует проверять на целевых форматах документов.

Moderncamembert-4entities — модель распознавания именованных сущностей для французского языка, разработанная Лоиком Бурдуа из Centre Aquitain des Technologies de l'Information et Electroniques. Она дообучена на базе almanach/moderncamembert-cv2-base и размечает токены как географические объекты (LOC), персон (PER), организации (ORG), прочие именованные сущности (MISC) или фоновые токены. Обучающий корпус frenchNER_4entities объединяет и очищает французские наборы данных NER; всего в нём 384 773 примера для обучения, валидации и тестирования. Модель использует архитектуру ModernBERT с классификационной головой для токенов, содержит 135,5 млн параметров и поддерживает контекст до 8192 токенов. В опубликованной оценке общий F1 составил 0,983; по классам результаты различаются — например, F1 для LOC равен 0,960, а для MISC — 0,811. Модель принимает французский текст и выдаёт метки сущностей для его токенов. Распространяется по лицензии MIT.

mREBEL-base — мультиязычная модель извлечения отношений, представленная авторами работы REDFM, опубликованной на ACL 2023. Она переосмысляет извлечение отношений как задачу преобразования текста в текст и предназначена для самостоятельного извлечения связей между сущностями или для дообучения на мультиязычных наборах данных по этой задаче. Модель построена на архитектуре M2M100ForConditionalGeneration и содержит 332,5 млн параметров. Метаданные указывают контекст до 1024 токенов и поддержку арабского, каталанского, немецкого, греческого, английского, испанского, французского, хинди, итальянского, японского, корейского, нидерландского, польского, португальского, русского, шведского, вьетнамского и китайского языков. Для корректного разбора предсказаний нужны специальные токены, различающие субъект, объект и тип отношения; виджет Hugging Face их не показывает. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий распространения и атрибуции.

nesemenpolkov/msu-wiki-ner — модель для распознавания именованных сущностей в русскоязычном тексте. Автор дообучил Babelscape/wikineural-multilingual-ner на датасете RCC-MSU/collection3 для задачи классификации токенов. Модель на архитектуре BERT содержит 205,1 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки BIO для персон, организаций и географических объектов. Модель подходит для извлечения имён людей, названий организаций и мест из русскоязычных документов. В карточке приведены результаты на валидации после трёх эпох: F1 — 0,968, точность — 0,963, полнота — 0,974. Эти показатели относятся к указанному набору данных; автор предупреждает, что на текстах на других языках качество может быть низким. Модель распространяется под лицензией, сведения о которой в предоставленных данных отсутствуют.

Это англоязычная модель распознавания именованных сущностей: энкодер BERT base uncased с головой классификации токенов, дообученный на наборе CoNLL-2003. Она присваивает метку каждому токену и выделяет людей, организации, местоположения и прочие сущности в новостном тексте. Модель содержит 136,7 млн параметров, использует контекст до 512 токенов и доступна в формате safetensors через библиотеку Transformers. На тестовой выборке CoNLL-2003 указаны precision 0,896, recall 0,909 и F1 0,902 на уровне сущностей; слабее всего модель распознаёт класс MISC. Она рассчитана на английские новости, а uncased-токенизатор не сохраняет регистр и может разбивать многословные сущности на подслова; для объединения фрагментов в сущности README рекомендует aggregation_strategy="simple". Лицензия — Apache-2.0.

Модель samandar1105/named_entity-recognition — англоязычная модель распознавания именованных сущностей, разработанная Samandar1105 и дообученная на bert-base-cased на наборе CoNLL-2003 с новостными текстами Reuters. Она размечает токены как имена людей, организации, географические объекты и прочие сущности. Модель построена на архитектуре BERT и содержит 135,5 млн параметров. Она принимает текст, поддерживает контекст до 512 токенов и выполняет классификацию токенов. В README указан результат F1 0,9116 на тестовой выборке CoNLL-2003. Лицензия в предоставленных данных не указана.

Это крупная модель распознавания именованных сущностей на нидерландском языке, поставляемая в составе библиотеки Flair. Она основана на документных эмбеддингах XLM-R и архитектуре FLERT и предназначена для разметки текста тегами сущностей. Модель выделяет имена людей (PER), географические названия (LOC), организации (ORG) и четвертый класс сущностей. В README указана оценка F1 95,25 на нидерландской части CoNLL-2003. Модель подходит для извлечения сущностей из нидерландских документов и может использоваться через Flair с PyTorch. Модель обучена на CoNLL-2003; сведения о лицензии в предоставленных данных отсутствуют.

Стандартная англоязычная модель распознавания именованных сущностей, поставляемая в составе библиотеки Flair. Она использует эмбеддинги Flair и архитектуру LSTM-CRF, обучена на CoNLL-2003 и присваивает токенам метки для имён людей, географических названий, организаций и ещё одной категории сущностей. В карточке указана оценка F1 93,06 на исправленной версии CoNLL-03. Модель предназначена для выделения и классификации сущностей в английском тексте, например при разборе новостей и документов. Для использования требуется библиотека Flair. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Это быстрая модель распознавания именованных сущностей на английском языке, поставляемая вместе с библиотекой Flair. Она использует эмбеддинги Flair и архитектуру LSTM-CRF, обучена для четырёх классов сущностей на CoNLL-2003 и показывает F1 92,92 на исправленной версии этого набора данных. Модель подходит для извлечения из английского текста имён людей, географических названий, организаций и ещё одного класса разметки, не раскрытого в доступной части карточки. Её можно применять для разметки документов и предварительной обработки текста в конвейерах NLP через Flair. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Это крупная англоязычная модель распознавания именованных сущностей, распространяемая вместе с библиотекой Flair. Она размечает текст четырьмя классами NER: людьми (PER), местами (LOC), организациями (ORG) и ещё одним классом, который в доступной таблице README не виден. Модель основана на документных эмбеддингах XLM-R и архитектуре FLERT, обучена на CoNLL-03; для исправленной версии CoNLL-03 указана оценка F1 94,36. Модель предназначена для извлечения имен людей, географических названий и организаций из английского текста, например для индексирования документов и подготовки данных для последующего анализа. Используется через Flair SequenceTagger. В метаданных указана лицензия other, поэтому конкретные условия использования следует проверять в материалах репозитория.

Стандартная модель для распознавания именованных сущностей на французском языке, поставляемая в библиотеке Flair. Она использует эмбеддинги Flair и архитектуру LSTM-CRF для разметки последовательностей; модель предсказывает четыре класса сущностей, включая имена людей, географические названия и организации. В README приведены результаты F1 90,61 на WikiNER. Модель подходит для извлечения имен людей, мест и организаций из французских текстов, например для индексирования документов и подготовки данных для поиска. Для работы требуется библиотека Flair. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных материалах отсутствуют.

flair/ner-german — стандартная модель распознавания именованных сущностей для немецкого языка, поставляемая вместе с библиотекой Flair. Она основана на эмбеддингах Flair и архитектуре LSTM-CRF и обучена для четырёх классов NER на наборе CoNLL-2003 German revised. Модель размечает в тексте имена людей, названия мест и организаций; показатель F1 на указанном наборе составляет 87,94. Модель предназначена для извлечения сущностей из немецкоязычных текстов, например для обогащения документов и подготовки данных к поиску или аналитике. Для использования требуется библиотека Flair. Репозиторий содержит веса PyTorch; сведения о лицензии в доступных данных не приведены.

NERmembert-base-4entities — модель CamemBERT, дообученная Лоиком Бурдуа из Centre Aquitain des Technologies de l'Information et Electroniques для распознавания именованных сущностей во французском тексте. Она размечает токены и выделяет четыре типа сущностей: людей (PER), организации (ORG), места (LOC) и прочие именованные сущности (MISC). Модель обучена на объединённом и очищенном наборе frenchNER_4entities примерно из 385 тысяч предложений, собранном из четырёх французских датасетов NER. Архитектура — CamembertForTokenClassification, размер — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель принимает текст и возвращает метки сущностей для его фрагментов. Её можно использовать для извлечения имён людей, организаций и географических названий из французских документов, новостей и других текстов. Модель выпущена под лицензией MIT.

NuExtract — модель NuMind для извлечения структурированных сведений из текста. Она дообучена на частном высококачественном синтетическом наборе данных на базе microsoft/Phi-3-mini-4k-instruct; архитектура — плотная Phi-3, около 3,7 млрд параметров. Модель принимает текст и шаблон JSON с описанием нужных полей, а затем формирует извлечённые данные в заданной структуре. По карточке она предназначена для извлечения информации, включая сценарии без примеров; автор отмечает, что вывод является экстрактивным и текст ответа берётся из исходного текста. Модель рассчитана на вход менее 2000 токенов. Метаданные указывают контекст до 4096 токенов, английский язык и формат safetensors. Лицензия — MIT. Карточка помечает модель как устаревшую и указывает на обновлённую версию.

NuExtract-1.5 — модель NuMind для извлечения структурированной информации из текста. Это дообученная версия Phi-3.5-mini-instruct с 3,7 млрд параметров, созданная на частном высококачественном наборе данных. Для запроса модели передают текст и JSON-шаблон с нужными полями; она старается извлекать сведения дословно, сохраняя формулировки исходного текста. Модель предназначена для структурирования содержимого документов и длинных текстов на английском, французском, испанском, немецком, португальском и итальянском языках. В README заявлена поддержка длинных документов, включая примеры длиной 8–20 тысяч токенов, хотя нативный размер контекста в метаданных составляет 4096 токенов. Для чистого извлечения рекомендуется температура 0 или близкая к нулю. Модель работает с текстом и выдаёт текст в формате, заданном JSON-шаблоном. Лицензия — MIT. Результаты могут зависеть от формулировки шаблона и настроек генерации; заявленная работа с длинными документами выходит за пределы контекста, указанного в метаданных.