I.4Обработка документов и форм

jinhybr/OCR-DocVQA-Donut — модель Donut базового размера, дообученная на наборе DocVQA для ответов на вопросы по изображениям документов. Она принимает изображение документа и генерирует текстовый ответ, используя архитектуру vision encoder-decoder: визуальный энкодер Swin Transformer кодирует изображение, а декодер BART авторегрессионно формирует ответ. Модель предназначена для визуального анализа документов и сценариев вопросно-ответного поиска по их содержимому без отдельного этапа OCR. Выпущена под лицензией MIT. Модель специализирована на DocVQA; её точность на других типах документов и задачах не подтверждена в карточке. Указанная конфигурация — базовый размер; число параметров и длина контекста в предоставленных данных не приведены.

DevQuasar/openbmb.MiniCPM-V-4.6-GGUF — это квантованная версия мультимодальной модели openbmb/MiniCPM-V-4.6, опубликованная пользователем или организацией DevQuasar. Модель предназначена для задач image-text-to-text: анализа изображений и формирования текстовых ответов на основе визуального и текстового ввода.

Orsta-7B — мультимодальная модель зрения и языка, разработанная командой MiniMax-AI на основе Qwen2.5-VL-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и дообучена с помощью системы обучения с подкреплением V-Triune на восьми визуальных задачах. Она принимает изображения и текстовые запросы и предназначена для визуальных рассуждений и восприятия: ответов на вопросы по математике и науке, понимания диаграмм и решения головоломок, обнаружения и подсчёта объектов, визуальной локализации и OCR. Контекст составляет до 128 000 токенов; в карточке указан английский язык. Модель распространяется в формате safetensors через Transformers по лицензии MIT.

AI-Enthusiast11/pii-entity-extractor — модель Maskify на базе DeBERTa, дообученная для распознавания именованных сущностей, содержащих персональные данные. Она принимает текст и выполняет токенную классификацию, выделяя имена, номера социального страхования, телефоны, номера кредитных карт и банковских счетов, банковские routing-номера и адреса. Модель содержит 306 млн параметров, использует архитектуру DeBERTa v2 и поддерживает контекст до 512 токенов. В карточке описана работа с английским языком; модель подходит для поиска персональных данных в текстовых документах и подготовки данных к обезличиванию. На отложенной части того же размеченного набора данных автор сообщает средние precision, recall и F1 около 0,95. Эти результаты не гарантируют такое же качество на других данных: для применения в чувствительных сценариях рекомендуется ручная проверка и оценка на данных целевого домена. Лицензия в предоставленных сведениях не указана.

lmstudio-community/Qwen2.5-VL-3B-Instruct-GGUF — мультимодальная инструкционная модель Qwen2.5-VL-3B-Instruct, разработанная Qwen и представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для задач анализа изображений и текста, включая распознавание объектов, интерпретацию текстов, диаграмм, графиков, значков и макетов в изображениях. Модель поддерживает контекст до 128 тысяч токенов, заявлена как мультиязычная и может формировать структурированные ответы, включая стабильный JSON. Она также предназначена для сценариев визуального агента с рассуждением и динамическим управлением инструментами, в том числе для взаимодействия с компьютером и телефоном. К сильным сторонам относятся анализ визуальной информации и работа со структурированными данными; конкретные ограничения, результаты тестов и перечень поддерживаемых языков в README не указаны. Лицензия — qwen-research.

Qwen3.5-0.8B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba и представленной пользователем prithivMLmods. Модель предназначена для локального понимания и генерации текста и изображений, включая лёгкое OCR, разбор документов, визуальные вопросы и ответы, многоязычные чат-боты и базовые задачи программирования. Поддерживаются интеграции с Ollama, vLLM и llama.cpp, что позволяет использовать модель без облачных зависимостей, в том числе на маломощных устройствах и встраиваемых системах. Модель содержит около 0,8 млрд параметров и использует плотную мультимодальную архитектуру с комбинацией Gated DeltaNet и разреженного MoE, 24 слоями, скрытым размером 1024 и словарём из 248 тысяч токенов. Заявлена поддержка 201 языка, работа с текстом и изображениями, нативное контекстное окно 262 тысячи токенов и возможность расширения свыше 1 млн токенов с помощью YaRN. Формат MTP добавляет несколько выходных головок для предсказания будущих токенов и ускорения локального вывода без отдельной draft-модели. К сильным сторонам относятся компактность, низкие требования к памяти, мультимодальность, широкий контекст и варианты квантования размером примерно от 430 МБ до 834 МБ; для BF16 заявлено около 1,6 ГБ VRAM. Ограничения включают малый размер модели, поэтому её возможности могут быть недостаточны для сложного программирования, глубокого анализа и требовательных генеративных сценариев. Модель распространяется по лицензии Apache 2.0.

merve/rfdetr-docvqa-media3-trainval-agree2-medium — дообученная модель обнаружения объектов на базе Roboflow/rf-detr-medium. Она принимает изображения и находит объекты, возвращая их категории и локализацию. По метрикам README модель оценивалась на категориях Chart, Image и Signature; качество различается между категориями, а показатели для малых объектов приведены как −1.0, поэтому применение к ним не подтверждено. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии Apache-2.0.

sba-extract-v4 — модель Koodo Technology LLC FZ, дообученная на базе Qwen2.5-3B для извлечения 16 финансовых полей из текстового представления налоговых деклараций США и формирования структурированного JSON для SBA Form 413. Она предназначена для автоматизации подготовки персональных финансовых отчётов в кредитных союзах и общественных банках, работающих с кредитованием малого бизнеса. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2, поддерживает контекст до 32 768 токенов и доступна в формате GGUF; в метаданных указана поддержка английского языка и лицензия MIT. В карточке заявлена точность 81% при точном совпадении всех полей и 100% после постобработки. Ошибки касаются полей с несколькими значениями: модель может извлечь только первое из них, поэтому для суммирования счетов или объектов недвижимости нужна постобработка. Модель работает с текстом или Markdown, а не с изображениями документов напрямую.

LibreYOLO/SenseNovaVision7b — зеркало весов SenseNova-Vision-7B-MoT от SenseTime для интеграции в уровень LibreVLM библиотеки LibreYOLO. Это единая мультимодальная модель компьютерного зрения на архитектуре Bagel-MoT: декодер Qwen2.5-7B MoT, визуальный модуль SigLIP и автоэнкодер FLUX. Один чекпойнт поддерживает обнаружение объектов, поиск точек и ключевых точек, OCR, оценку глубины, сегментацию и паноптическую сегментацию. Символьные результаты, например рамки, точки и распознанные слова, выдаются как структурированный текст; карты глубины и маски — как изображения, декодированные VAE. Модель можно использовать для анализа изображений через чат-интерфейс и генерацию. Веса и конфигурации в репозитории не изменены относительно исходной модели SenseTime; добавлены только карточка и уведомление. Лицензия весов CC BY-NC 4.0 разрешает некоммерческое использование. Для загрузки в LibreYOLO предусмотрено восстановление раскладки специальных токенов; другим средствам запуска может потребоваться такая же настройка или медленный токенизатор на основе vocab.json и merges.txt.

Модель lxyuan/span-marker-bert-base-multilingual-uncased-multinerd — дообученная версия bert-base-multilingual-uncased с архитектурой SpanMarker, созданная в рамках воспроизведения работы Tom. Она предназначена для распознавания именованных сущностей в тексте: людей, организаций и местоположений. Модель обучена на наборе Babelscape/multinerd и поддерживает немецкий, английский, испанский, французский, итальянский, нидерландский, польский, португальский, русский и китайский языки. В карточке приведён общий F1 91,88 на тестовой выборке; автор отмечает, что вариант без учёта регистра может уступать варианту с учётом регистра, поэтому рекомендует сравнивать их на целевых данных. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. Результаты могут зависеть от языка и предметной области; README также отмечает чувствительность к точкам в контексте распознавания сущностей, связанных с едой.

TowerVision-9B — мультимодальная языковая модель с открытыми весами от проекта TowerVision, предназначенная для работы с изображениями и текстом. Версия содержит 9 млрд параметров и основана на Unbabel/Tower-Plus-9B, соединённой с визуальным энкодером SigLIP2-patch14-384 через мультимодальный адаптер. Модель поддерживает контекст до 8192 токенов и обрабатывает изображения вместе с текстовыми запросами, выдавая текст. Модель подходит для описания изображений, визуальных вопросов и ответов, суммаризации, анализа графиков и документов, а также мультиязычного перевода с учётом визуального и культурного контекста. В README перечислены европейские и азиатские языки, включая русский; метаданные также указывают поддержку 17 языков. Рекомендуемая точность для запуска — bfloat16. Модель поставляется в формате safetensors и использует библиотеку Transformers. Лицензия CC-BY-NC-SA-4.0 требует указания авторства, распространения производных материалов на тех же условиях и не разрешает коммерческое использование.

TrOCR-large-str — модель оптического распознавания текста, разработанная Microsoft и дообученная на наборах IC13, IC15, IIIT5K и SVT для распознавания текста на изображениях отдельных строк. Она предназначена для преобразования изображения строки текста в последовательность символов, например при оцифровке фотографий и сканов с короткими надписями. Модель построена по архитектуре encoder-decoder: визуальный Transformer-кодировщик обрабатывает изображение как последовательность патчей размером 16×16, а текстовый Transformer-декодировщик авторегрессионно формирует распознанный текст. Кодировщик инициализирован весами BEiT, декодировщик — RoBERTa. Репозиторий содержит веса PyTorch. Модель рассчитана на распознавание одной текстовой строки за раз; для целых страниц или документов потребуется предварительно выделить строки. Лицензия в предоставленных данных не указана.

Hukyl/trocr-large-uk-handwritten — модель распознавания рукописного украинского текста на отдельных изображениях строк. Её разработал Hukyl на основе TrOCR-Large с архитектурой VisionEncoderDecoderModel: визуальный энкодер ViT-L/16 с разрешением 384 пикселя и декодер TrOCR; размер составляет около 558 млн параметров. Модель дообучена на смеси реальных и синтетических корпусов кириллического рукописного текста и предназначена также для дальнейшей адаптации к целевым данным. Модель принимает обрезанные изображения строк и выдаёт распознанный текст. Для распознавания целых страниц сначала нужны сегментация строк или детектор областей. На документах вне обучающего распределения качество заметно ниже, чем на похожих обучающих данных: в описанной проверке CER составил 0,1925 на страницах Rukopys. Результаты проверки на обучающем распределении нельзя считать оценкой качества на реальных документах; для шумных архивных сканов рекомендуется дообучение на данных целевого домена. Лицензия весов — Apache-2.0; при распространении модели также требуется указывать атрибуцию датасета UkrHandwritten по условиям CC BY-SA 4.0.

Ghazouaniwala/trocr-tunisian-arabic — модель распознавания рукописного тунисского арабского текста, разработанная для обработки юридических форм в системе Wathiqa. Это TrOCR с архитектурой vision-encoder-decoder, дообученная на рукописном тунисском арабском; словарь декодера заменён на арабский словарь из 30 тысяч токенов. Модель распознаёт отдельные слова на изображениях и рассчитана на локальную офлайн-обработку без передачи документов в облако. Модель подходит для извлечения арабских имён, заметок и других рукописных текстовых полей из структурированных форм. Перед распознаванием нужно сегментировать текст на слова и подавать их по отдельности; обработка целых строк и предложений не является целевым сценарием. Для цифр и печатного текста в Wathiqa используются отдельные распознаватели. Модель распространяется по лицензии MIT.

cmhyo/xlm-roberta-base-finetuned-panx-de-fr — модель классификации токенов на базе XLM-RoBERTa Base, дообученная для задачи разметки последовательностей. Суффикс имени указывает на ориентированность на немецкий и французский языки; README сообщает о дообучении на датасете, название которого не приведено. В оценке на тестовом наборе указаны loss 0,1642 и F1 0,8610. Модель содержит 305,2 млн параметров, имеет контекст длиной до 514 токенов и распространяется в формате Safetensors. Лицензия — MIT.

Модель powerwook/xlm-roberta-base-finetuned-panx-de-fr — дообученная версия XLM-RoBERTa-base для классификации токенов. Она предназначена для разметки последовательностей, в частности для распознавания именованных сущностей в немецком и французском текстах; на указанном в карточке наборе оценки достигла F1 0,8593. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и принимает последовательности длиной до 514 токенов. Модель подходит для извлечения сущностей из текстов на немецком и французском языках. Она распространяется в формате safetensors по лицензии MIT. В карточке не раскрыты подробности обучающего набора и метки классов, поэтому качество для конкретных типов сущностей и других языков не установлено.

Модель MatinAsgarov/applied-nlp-ner-stage3-distilbert — дообученная для распознавания именованных сущностей версия DistilBERT, разработанная в рамках проекта applied-NLP NER. Она выполняет токенную классификацию по схеме BIO и размечает сущности восьми типов: людей, организации, места, даты и время, продукты, произведения искусства, профессии и суммы. Модель принимает текст на английском языке; её контекст ограничен 512 токенами. Веса представлены в формате safetensors, размер модели — около 65,2 млн параметров. На тестовой выборке из 119 записей получен общий F1 0,686; лучшие результаты показаны для сущностей типа PERSON, а PRODUCT и WORKOFART распознаются слабее. Вне обучающего распределения встречаются обрезание многословных сущностей, ложные срабатывания на отдельные стоп-слова и путаница между организациями, местами и продуктами. Лицензия в метаданных указана как unknown.

Aria-Chat — мультимодальная чат-модель семейства Aria, разработанная Rhymes AI и дообученная на базе rhymes-ai/Aria-Base-64K. Она предназначена для открытых диалогов в несколько ходов с изображениями и текстом, включая визуальные вопросы и многоязычный OCR. Модель содержит 25,3 млрд параметров и использует архитектуру AriaForConditionalGeneration; базовая модель поддерживает контекст до 65 536 токенов. Для загрузки весов README указывает одну GPU A100 с 80 ГБ памяти при точности bfloat16. Авторы отмечают улучшенную надёжность длинных ответов и многоязычные возможности, в том числе для китайского, испанского, французского и японского языков. По данным метаданных, язык карточки — английский; модель также ориентирована на сценарии вне английского. Лицензия — Apache-2.0. Модель оптимизирована для реальных открытых мультимодальных диалогов, а не для бенчмарков; указанная в README оценка WildVision-Bench не гарантирует качество на конкретных задачах.

nxaliao/bert-lg-cased-ms-ner-full — модель для разметки последовательностей, созданная дообучением google-bert/bert-large-cased. Она предназначена для token classification; название репозитория указывает на распознавание именованных сущностей, однако карточка не описывает набор меток или обучающие данные. Модель содержит 432,3 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. Модель подходит для извлечения сущностей из текста и других задач токенной классификации. Карточка не сообщает, какие языки и типы сущностей она поддерживает, и не приводит результатов оценки. Распространяется по лицензии Apache-2.0.

Модель gagan3012/bert-tiny-finetuned-ner — компактная модель разметки последовательностей на основе prajjwal1/bert-tiny, дообученная на наборе данных CoNLL-2003. Она использует архитектуру BERT и содержит около 4,4 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для распознавания именованных сущностей в тексте, например имён людей, организаций и географических названий. На оценочной выборке CoNLL-2003 указаны F1 0,8177, точность 0,8083, полнота 0,8274 и accuracy 0,9598. Карточка не описывает ограничения или условия лицензии, поэтому их нельзя уточнить по доступным данным.

Jean-Baptiste/camembert-ner — модель распознавания именованных сущностей, созданная дообучением CamemBERT на французском датасете wikiner-fr, содержащем около 170 тысяч предложений. Она размечает токены как имена людей, организации, географические объекты, прочие сущности или текст вне сущностей. Модель предназначена для извлечения сущностей из французских текстов, в том числе электронных писем и чатов; автор сообщает, что на таких данных она лучше справлялась с сущностями, начинающимися со строчной буквы. Архитектура — CamemBERT для классификации токенов, около 137,8 млн параметров и контекст до 514 токенов. В README приведена общая оценка F1 0,8914; показатель F1 для имен людей — 0,9483. Доступны файлы PyTorch, Safetensors и ONNX. Модель распространяется по лицензии MIT. Качество зависит от типа текста и категорий сущностей: обучение проводилось на wikiner-fr, а приведённые метрики не гарантируют таких же результатов на других данных.

Это модель обнаружения объектов на изображениях, созданная дообучением DETR с ResNet-50 от nsugianto. Она предназначена для поиска объектов и определения их рамок; в названии указаны наборы LS-TableDet и LSDocElementDet, однако README не описывает классы объектов и конкретные сценарии применения. Модель содержит 6,3 млн параметров, использует архитектуру DETR и распространяется в формате Safetensors. Лицензия в предоставленных данных не указана.

Hukyl/dfine-egret-x-rukopys — модель обнаружения объектов для анализа рукописных украинских страниц. Она разработана Hukyl на основе D-FINE-X и дообучена на размеченном наборе Rukopys; архитектура включает backbone HGNetV2 и декодер в стиле RT-DETR. Модель содержит около 62,7 млн параметров и распознаёт семь типов областей: рукописный и печатный текст, формулы, таблицы, аннотации, изображения и графики. Модель предназначена для поиска и классификации областей документа перед передачей распознавателям текста или формул. На отложенной выборке из 133 страниц mAP@50 составила 0,6704, а mAP@50–95 — 0,4441; качество заметно различается между классами. Модель обучали и оценивали при размере изображения 640×640; результаты для документов иных типов не проверялись. Слабыми классами являются аннотации и изображения, а малое число примеров некоторых категорий делает их метрики нестабильными. Веса распространяются по лицензии Apache-2.0; обучающие данные Rukopys указаны с лицензией CC BY 4.0.

DictaBERT NER — модель семейства BERT, разработанная Dicta, представляющая собой дообученную версию BERT-base для распознавания именованных сущностей в современном иврите. Она предназначена для разметки токенов и выявления сущностей в ивритских текстах. Модель содержит 211,6 млн параметров, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и Safetensors. Модель подходит для извлечения сущностей из документов и текстовых коллекций на иврите. Карточка указывает лицензию CC BY 4.0. Подробности о типах сущностей и качестве на отдельных наборах данных в предоставленных материалах не описаны.

Модель somskat/distilbert-base-uncased-finetuned-ner — дообученная версия Jing1113/distilbert-base-uncased-finetuned-srl для классификации токенов. По названию репозитория она предназначена для распознавания именованных сущностей (NER). Модель построена на архитектуре DistilBERT и принимает текст; максимальная длина контекста — 512 токенов. В карточке приведены метрики на оценочном наборе: F1 0,8698, точность 0,8664, полнота 0,8732 и accuracy 0,9737. Данные обучения, набор меток и подробные сценарии применения не описаны. Модель распространяется по лицензии Apache-2.0.

Document Image Transformer (DiT) base — модель Microsoft для анализа изображений документов. Это энкодер Transformer с архитектурой, идентичной BEiT; версия base содержит 119,5 млн параметров. Модель предварительно обучена на 42 млн изображений документов из IIT-CDIP с самоконтролируемой задачей предсказания визуальных токенов для замаскированных участков изображения. DiT преобразует изображения документов в признаки и предназначена прежде всего для дообучения под прикладные задачи: классификацию документов, обнаружение таблиц и анализ структуры страницы. Для непосредственного использования модель может кодировать изображения документов в векторное пространство. Веса доступны в формате PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.

Docopilot-2B — мультимодальная модель OpenGVLab для понимания документов на уровне целых страниц, представленная в статье «Docopilot: Improving Multimodal Models for Document-Level Understanding». Она принимает изображения документов и текстовые запросы и формирует текстовые ответы в диалоговом режиме; архитектура — InternVLChatModel, формат весов — safetensors. Модель предназначена для вопросов и задач, требующих анализа содержимого документа целиком. В карточке указана лицензия MIT. В доступных сведениях нет подробностей о размере контекста, поддерживаемых языках и конкретных оценках качества.

Это PyTorch-модель распознавания текста docTR CRNN VGG16-BN, созданная Mindee и размещённая rrainn как побайтовая копия официального предварительно обученного чекпойнта. Модель использует сверточный экстрактор признаков VGG16-BN, двунаправленный LSTM-декодер и CTC-декодирование для чтения текста на изображениях отдельных, уже выделенных слов. Лицензия — Apache-2.0. Модель предназначена для OCR-конвейеров: транскрибирования документов, распознавания текста в обрезанных изображениях слов, сравнительного тестирования OCR и инициализации дообучения для конкретного домена. Для обработки целых страниц её нужно сочетать с детектором текста; при использовании docTR соответствующую предобработку и декодирование обеспечивает recognition_predictor. Вход модели имеет форму 3 × 32 × 128 с RGB-каналами. Распознавание ограничено настроенным алфавитом латиницы и французского языка. Качество может снижаться на рукописном, изогнутом или вертикальном тексте, при размытии, низком контрасте и шрифтах, отличающихся от обучающих данных; состав этих данных подробно не раскрыт. Уверенность последовательности не гарантированно откалибрована, поэтому результатам для важных решений требуется проверка человеком и оценка на целевом наборе данных.

Donut-handball-pv — модель Bienvenu2004, дообученная на базе naver-clova-ix/donut-base для преобразования изображений в текст. Архитектура VisionEncoderDecoder предназначена для задач, где нужно извлекать текстовое представление из изображения; карточка не описывает конкретный формат входных изображений или целевой текст. Модель опубликована в формате safetensors и распространяется по лицензии MIT. README не содержит сведений о специализации, обучающих данных, качестве или ограничениях; название репозитория указывает на связь с гандболом, но не позволяет определить конкретную задачу модели.

Florence-2-DocLayNet-Fixed — визуальная модель, которую разработчик дообучил на базе microsoft/Florence-2-large-ft с использованием датасета DocLayNet-v1.1. Она предназначена для анализа макета документов: находит области вроде подписей, сносок и формул и возвращает их классы и ограничивающие рамки по изображению страницы. В README сообщается об улучшении mAP50-95 на 7% после переименования классов в короткие токены. На тестовом наборе DocLayNet модель достигла 70%, а на подмножестве научных статей — 87%; авторы отмечают, что рамки получаются аккуратнее, чем у сравниваемых YOLO-моделей. Вес опубликован для дальнейшего исследования. Модель принимает изображение и выдаёт текстовое представление предсказаний; репозиторий содержит веса safetensors. Лицензия — Apache-2.0.