I.3Извлечение и структурирование данных

Armaggheddon разработал три варианта YOLOv11 — nano, small и medium — и дообучил их на DocLayNet для анализа структуры документов. Модели обнаруживают и классифицируют 11 типов элементов страницы: текстовые блоки, заголовки, таблицы, изображения, подписи, списки, формулы, колонтитулы и сноски. Модель предназначена для обработки изображений документов в конвейерах понимания документов и извлечения информации. Вариант nano ориентирован на скорость, small предлагает немного большую точность, а medium — максимальную точность среди описанных вариантов при более высоких вычислительных затратах. Обучение проводилось при разрешении 1280×1280; снижение до 640×640 ухудшало обнаружение мелких элементов. Это дообучение Ultralytics/YOLO11, распространяемое в формате PyTorch под лицензией MIT. README рекомендует nano для производственного применения.

Yuren-13B — языковая модель Pleisto на архитектуре Llama 2 с 12,9 млрд параметров, полученная продолжительным обучением Llama 2 13B. Она предназначена для задач синтеза информации: многоязычного извлечения сведений, преобразования запросов на естественном языке в SQL, генерации текста и выдачи структурированных данных. В карточке приведены примеры генерации SQL и извлечения полей резюме в JSON. Модель принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Основной акцент сделан на китайском и английском языках. Разработчик заявляет высокие результаты в сценариях синтеза данных при сопоставимом размере модели. Весовые файлы представлены в форматах PyTorch и Safetensors. Лицензия указана как Llama 2; перед использованием следует проверить применимые условия этой лицензии. Разработчик рекомендует применять модель для внутренней обработки данных организаций и контролировать входы и выходы, поскольку ответы могут содержать ошибки или создавать риски при использовании без проверки.

ADELIE-DPO-1.5B — дообученная языковая модель, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li для извлечения информации из текста. Она основана на Qwen2.5-1.5B и дополнительно выровнена методом Direct Preference Optimization (DPO) после инструкционного дообучения на корпусе IEInstruct. Архитектура — плотная Qwen2ForCausalLM с 1,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для закрытого и открытого извлечения информации, а также извлечения по запросу: распознавания сущностей, извлечения отношений и событий. В карточке сообщается о результатах на отложенных наборах данных для извлечения информации и отсутствии заметного ухудшения общих возможностей. Основной язык — английский. Лицензия указана как LLaMA 2 License для базовой модели.

ADELIE-SFT — языковая модель для извлечения информации, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li. Модель создана инструкционным дообучением LLaMA 2 7B на корпусе IEInstruct и предназначена для закрытого, открытого и выполняемого по запросу извлечения информации, включая распознавание сущностей, извлечение событий и отношений. Модель основана на плотной архитектуре LLaMA с причинным языковым моделированием, содержит 6,6 млрд параметров и имеет контекст длиной 2048 токенов. Она принимает текст и генерирует текст; заявленный язык — английский. В карточке приведены результаты на наборах данных извлечения информации и общих бенчмарках. Использование регулируется лицензией LLaMA 2.

Модель kamalkraj/bert-base-cased-ner-conll2003 — дообученная версия BERT base cased для распознавания именованных сущностей. Она выполняет токенную классификацию, размечая текстовые фрагменты как сущности; модель дообучена на наборе CoNLL-2003. Модель содержит 135,5 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. В README для оценочного набора CoNLL-2003 указаны F1 0,9482, точность 0,9438 и полнота 0,9525. Модель распространяется по лицензии Apache-2.0. Данные карточки не уточняют полный перечень распознаваемых типов сущностей и подробные ограничения применения.

dslim разработал bert-base-NER — модель BERT-base-cased, дообученную для распознавания именованных сущностей в английском тексте. Она относит токены к категориям людей, организаций, мест и прочих сущностей (PER, ORG, LOC, MISC), а также отмечает токены вне сущностей. Модель содержит 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для извлечения имен и организаций из новостных статей и других англоязычных текстов, например, для последующей индексации или анализа документов. Она обучена на англоязычном наборе CoNLL-2003, составленном из новостных статей Reuters; в карточке приведены F1 91,3 на тестовой выборке. Метки и качество могут хуже подходить для других предметных областей и временных периодов. Иногда модель помечает отдельные части слов как сущности, поэтому может потребоваться постобработка. Лицензия — MIT.

mulinski/bert-finetuned-chunk — модель семейства BERT, дообученная на bert-base-cased на наборе CoNLL-2003 для классификации токенов. Она предназначена для разметки последовательностей текста, в частности для распознавания именованных сущностей. В оценке на тестовой выборке указаны F1 0,9214, точность 0,9222, полнота 0,9207 и accuracy 0,9618. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — Apache-2.0. README не описывает ограничения и сценарии применения подробнее.

thanapolsjr/bert-finetuned-ner — модель распознавания именованных сущностей на основе архитектуры BERT, дообученная авторами репозитория на наборе данных CoNLL-2003. Она предназначена для разметки токенов в тексте и выделения сущностей; модель загружается через библиотеку Transformers и использует формат safetensors. Размер модели — 135,5 млн параметров, длина контекста — до 512 токенов. На оценочной выборке указаны F1 0,9434, точность 0,9350, полнота 0,9519 и accuracy 0,9869. Эти результаты относятся к CoNLL-2003; карточка не приводит подробностей о наборах меток или качестве на других данных. Лицензия в предоставленных сведениях не указана.

Модель IreNkweke/bert-finetuned-ner-ontonotes5 — дообученная автором IreNkweke модель BERT для распознавания и классификации именованных сущностей в английском тексте. Она использует архитектуру BertForTokenClassification, содержит 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена на OntoNotes 5 и различает 37 меток, включая PERSON, ORG, GPE, DATE, MONEY, LAW и EVENT. Модель подходит для извлечения сведений из новостей, публикаций в социальных сетях и юридических документов, а также для обогащения поиска сущностями и подготовки данных к последующей классификации. В README приведены результаты оценки: F1 0,8733, точность 0,8620 и полнота 0,8849. Модель ориентирована на английский язык; качество на других языках и текстах, отличающихся от обучающих данных, не заявлено. Лицензия — MIT.

marquesafonso опубликовал модель для распознавания именованных сущностей в тексте на португальском языке. Это Bertimbau Large на базе BERT с классификацией токенов; в карточке она описана как вариант BERT-CRF для сценария total с 10 классами сущностей: человек, организация, место, время, значение, абстракция, событие, предмет, произведение и прочее. Модель содержит 136,1 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors. Модель предназначена для извлечения и разметки сущностей в португальских текстах, например для индексирования документов и структурирования упоминаний людей, организаций и мест. Для загрузки используются AutoTokenizer и AutoModelForTokenClassification из Transformers. Лицензия — MIT. Качество зависит от соответствия текста и домена данным обучения; README не приводит метрик оценки.

Модель Sartaj, дообученная на основе google-bert/bert-base-uncased для распознавания именованных сущностей в английском тексте. Она размечает токены, выделяя сущности, включая местоположения, организации и категории MISC, и подходит для извлечения структурированных упоминаний из предложений и документов. Модель построена на архитектуре BERT и содержит 136,7 млн параметров; максимальная длина контекста — 512 токенов. Для работы используются Transformers и формат весов safetensors. В карточке указаны результаты на наборе CoNLL-2003: F1 0,9053, точность 0,8992 и полнота 0,9115. Модель предназначена для английского языка; показатели на других языках и доменах не приведены. Лицензия Apache-2.0.

Модель geckos/deberta-base-fine-tuned-ner — версия DeBERTa-base от Microsoft, дообученная разработчиком geckos для распознавания именованных сущностей на наборе данных CoNLL-2003. Это плотная трансформерная модель с архитектурой DeBERTa и примерно 151,8 млн параметров; она принимает текстовые последовательности длиной до 512 токенов и относит токены к меткам сущностей. В оценке на тестовой выборке CoNLL-2003 указаны F1 0,9608, точность 0,9563 и полнота 0,9652. Модель подходит для извлечения сущностей из англоязычных текстов, например имён людей, организаций и географических названий в новостях. Она рассчитана на классификацию токенов, а не на свободный диалог или генерацию текста. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT; контекст ограничен 512 токенами.

Карточка модели lamm-mit/DeepSeek-OCR на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-OCR, поэтому описание составлено по ней. DeepSeek-OCR — мультимодальная модель DeepSeek для распознавания текста и анализа документов по изображениям. Она предназначена для извлечения текста из визуальных материалов, включая страницы документов; README также указывает поддержку обработки PDF через vLLM. Модель основана на архитектуре DeepSeek-VL2 и содержит 559,7 млн параметров. Она принимает изображения и текстовые запросы, а результат формирует в виде текста; заявлен контекст до 8192 токенов и многоязычная поддержка. В качестве среды запуска README описывает Transformers на GPU NVIDIA, а также отмечает поддержку vLLM. Модель доступна по лицензии MIT. README не приводит подробных оценок качества и перечня поддерживаемых языков, поэтому применимость к конкретному языку или типу документа следует проверять на собственных данных.

SalML/DETR-table-structure-recognition — модель обнаружения объектов на основе DETR, предназначенная для распознавания структуры таблиц в документах. По карточке автор также создал Hugging Face Space, который применяет OCR к изображению с результатами Table Transformer и позволяет скачать таблицу в CSV. Модель содержит 6,3 млн параметров, использует PyTorch и обучена на PubTables-1M. Метаданные указывают английский язык; подходящий сценарий — выделение структурных элементов таблицы на изображении документа перед извлечением данных. Лицензия в метаданных обозначена как unknown.

Модель elastic/distilbert-base-cased-finetuned-conll03-english — вариант DistilBERT base с учётом регистра, дообученный командой Elastic для распознавания именованных сущностей на английском языке на наборе CoNLL-2003. Она присваивает метки отдельным токенам, чтобы выделять сущности в тексте, например имена людей, организации и географические названия. Модель принимает текст и возвращает последовательность меток для его токенов. Максимальная длина контекста составляет 512 токенов. Модель чувствительна к регистру: например, «english» и «English» могут обрабатываться по-разному. Для текста без учёта регистра авторы указывают отдельный вариант модели. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

conjuncts/ditr-e15 — модель обнаружения объектов из экосистемы Transformers, опубликованная пользователем или организацией conjuncts. В метаданных она также помечена как table-transformer, поэтому ориентирована на задачи обнаружения элементов таблиц на изображениях или в документах. Модель содержит около 6,3 млн параметров и предназначена для использования через библиотеку Transformers. Её можно применять как компонент систем анализа документов, извлечения структуры таблиц и последующей обработки найденных областей. README не содержит сведений о разработчиках, лицензии, обучающих данных, поддерживаемых языках, архитектуре, длине контекста, метриках качества или ограничениях применения. Поэтому перед использованием в production необходимо отдельно проверить лицензионные условия, качество на целевых документах и устойчивость к различным форматам таблиц.

Docling Model for Layout — модель обнаружения объектов на основе RT-DETR для определения структуры и элементов макета документов. Она входит в проект Docling и предназначена для анализа расположения элементов на страницах документов; модель распространяется в формате Safetensors и загружается через Transformers. В карточке указана внутренняя выборка для распознавания структуры документов. Лицензия — Apache 2.0.

Dolphin-v2-f32-GGUF — это мультимодальная vision-language модель для интеллектуального разбора документов. Базовая модель Dolphin-v2 разработана ByteDance, а данный репозиторий prithivMLmods содержит её варианты в формате GGUF с разными уровнями квантования. Модель основана на Qwen2.5-VL-3B, насчитывает около 3 млрд параметров и использует vision encoder Native Resolution Vision Transformer (NaViT) вместе с авторегрессионным декодером. Модель предназначена для OCR и структурированного понимания цифровых документов, PDF-файлов, отсканированных и сфотографированных страниц. Она распознаёт заголовки, абзацы, формулы с выводом в LaTeX, таблицы в HTML, код, списки, изображения и другие элементы, возвращая их с абсолютными координатами на странице. Двухэтапная архитектура сначала различает цифровые и фотографированные документы, а затем применяет параллельный поэлементный или целостный разбор. Поддерживаются английский и китайский языки; заявлены сценарии локального использования в медицине, юриспруденции и финансах. К сильным сторонам относятся высокая точность анализа структуры и порядка чтения, распознавания формул и таблиц, устойчивость к искажениям, наклонам и перспективе, а также возможность локального запуска. Для вариантов модели указаны размеры от примерно 791 МБ до 12,3 ГБ; производительность исходной модели заявлена на уровне 0,1729 кадра в секунду на GPU с 8–12 ГБ VRAM, при этом она может превосходить универсальные VLM по скорости и точности. Конкретные характеристики зависят от выбранного GGUF-варианта: более сильное квантование уменьшает требования к памяти, но может снижать качество. Размер контекста и подробные требования к программному обеспечению не указаны. Лицензия — Apache 2.0.

dots.mocr — мультимодальная модель семейства dots_ocr от dots-studio для разбора документов и изображений с текстом. Она предназначена для распознавания текста и структуры страниц: находит элементы макета, их ограничивающие рамки и категории, извлекает текст и формирует Markdown. Также модель интерпретирует диаграммы, интерфейсы и научные иллюстрации и может преобразовывать структурированную графику в SVG-код; поддерживает интерактивный диалог по визуальному содержимому. Модель имеет плотную архитектуру DotsOCRForCausalLM и 1,5 млрд параметров; указанный размер контекста — 131 072 токена. Карточка заявляет мультиязычную поддержку, в том числе английского и китайского. Для развёртывания рекомендуются vLLM и Transformers; лицензия — MIT. Среди ограничений карточка отмечает трудности с комплексными таблицами и математическими формулами, недостаточно надёжный разбор графических изображений в SVG и периодические сбои разбора. Заявления о качестве на бенчмарках приведены в README, но сами таблицы с результатами здесь опущены.

dots.ocr-1.5 — мультимодальная модель семейства dots_ocr, предназначенная для распознавания и разбора документов и других изображений. В README указана архитектура с визуальным энкодером на 1,2 млрд параметров и языковой моделью на 1,7 млрд параметров; метаданные Hugging Face указывают размер 1,5 млрд параметров. Модель принимает изображения и может обрабатывать PDF, извлекая текст и структуру страницы. Модель предназначена для многоязычного OCR, разбора макета и преобразования содержимого документов в структурированные данные и Markdown. Она также распознаёт экранные интерфейсы и текст в сценах, выполняет задачи поиска и подсчёта объектов, а графики, диаграммы и другие структурированные изображения может преобразовывать в SVG-код. Контекст составляет 131 072 токена; в карточке заявлена поддержка письменностей разных языков, а метаданные перечисляют английский и китайский. Лицензия — MIT. Среди ограничений README отмечает трудности с комплексными таблицами и математическими формулами, а также недостаточную надёжность преобразования графики в SVG; возможны отдельные сбои разбора. Это компактная модель, поэтому качество может различаться на сложных визуальных задачах.

Это версия модели dslim/bert-base-NER, преобразованная в формат OpenVINO для ускоренного инференса. Модель разработана на основе BERT и предназначена для распознавания именованных сущностей в тексте с классификацией токенов; размер составляет 135,5 млн параметров, контекст — до 512 токенов. В карточке заявлена поддержка английского языка. Модель можно использовать для извлечения сущностей из английских текстов, например имён людей, организаций и географических названий. OpenVINO упрощает ускоренный запуск на совместимом оборудовании. Условия лицензии в предоставленных данных не описаны.

Модель rv2307/electra-small-ner — англоязычная модель для распознавания именованных сущностей, разработанная Vipin. Она основана на небольшом дискриминаторе Google ELECTRA и дообучена для классификации токенов; выделяет имена людей, названия организаций и географические объекты. Модель содержит 20,4 млн параметров, принимает текстовые последовательности с контекстом до 512 токенов и предназначена для использования через Transformers. Модель подходит для извлечения сущностей из англоязычных текстов, например для последующей индексации или структурирования документов. В карточке указаны датасеты CoNLL-2003 и ai4privacy/pii-masking-200k. Для объединения меток частей слов автор рекомендует в pipeline Transformers использовать aggregation_strategy="max". На длинных предложениях качество может снижаться; токенизатор distilbert может приводить к ошибочным меткам для частей одного слова. Лицензия — Apache 2.0.

en_core_web_lg — англоязычный NLP-конвейер spaCy, разработанный компанией Explosion и оптимизированный для работы на CPU. Модель предназначена для обработки английских текстов: токенизации, морфологической разметки, синтаксического анализа зависимостей, определения границ предложений, распознавания именованных сущностей и лемматизации. Конвейер включает компоненты tok2vec, tagger, parser, senter, attribute_ruler, lemmatizer и ner. В составе используется 514 157 уникальных 300-мерных векторов. Модель поддерживает английский язык и содержит 113 меток для частеречной и морфологической разметки, синтаксических зависимостей и сущностей, включая PERSON, ORG, GPE, DATE и MONEY. Указанная версия — 3.7.1; требуется spaCy версии >=3.7.2,<3.8.0. Сильные стороны модели — широкий набор компонентов для комплексного анализа текста, высокая точность токенизации и частеречной разметки, а также наличие векторных представлений и работа на CPU. По приведенным оценкам, F1 для распознавания сущностей составляет 85,43%, точность синтаксического анализа с метками зависимостей — 90,27%, а F1 определения предложений — 90,71%. Ограничения включают поддержку только английского языка и возможные ошибки на текстах, отличающихся от данных обучения. Модель распространяется по лицензии MIT; среди источников указаны OntoNotes 5, WordNet 3.0, данные Wikipedia, OSCAR, OpenSubtitles и новостных корпусов.

EntityBERT — компактная модель Boltuix для распознавания именованных сущностей в английском тексте. Это дообученная для классификации токенов модель на базе boltuix/bert-mini с архитектурой BERT, примерно 5 млн параметров и контекстом до 512 токенов. Она размечает последовательность токенов 36 тегами BIO, охватывающими 18 типов сущностей, включая людей, организации, места и даты. Модель предназначена для извлечения сущностей из новостей, пользовательских текстов и исследовательских корпусов, а также для подготовки структурированных данных для чат-ботов, поиска и графов знаний. В README приведён F1 0,85 на тестовой части boltuix/conll2025-ner; компактный размер подходит для сценариев с ограниченными ресурсами. Модель распространяется по лицензии Apache-2.0. EntityBERT ориентирована на английский язык и может хуже работать с неформальными текстами, редкими сущностями и данными из областей, отличных от обучающего корпуса. Для медицинской, юридической, финансовой или иной специализированной разметки может потребоваться адаптация.

Модель flair/entity-english-4class — модель распознавания именованных сущностей для английского языка, опубликованная для библиотеки Flair. Она размечает токены в тексте четырьмя классами сущностей; в карточке перечислены PER (имена людей), LOC (места) и ORG (организации), а четвёртый класс не описан. В README указан F1-score 95,6. Модель подходит для извлечения имён людей, мест и организаций из англоязычных текстов и структурирования упоминаний сущностей. Файлы представлены в формате PyTorch, задача Hugging Face — token-classification. Модель распространяется по лицензии Flukes NC 1.0: коммерческое использование требует отдельной лицензии.

Florence-2-large-TableDetection — мультимодальная модель обнаружения таблиц на изображениях, созданная ucsahin дообучением microsoft/Florence-2-large-ft на выборке ucsahin/pubtables-detection-1500-samples. Она принимает изображение и текстовый запрос и предсказывает ограничивающие рамки таблиц. Модель предназначена для автоматизации поиска таблиц в документах и изображениях перед извлечением данных или дальнейшим анализом. Модель основана на архитектуре Florence-2 и распространяется в формате safetensors. В README приведён результат Loss 0.7601 на оценочной выборке; этот показатель сам по себе не описывает точность обнаружения и зависит от протокола оценки. Лицензия — MIT. Для загрузки в Transformers README указывает необходимость trust_remote_code=True.

Gliese-OCR-7B-Post2.0-final-GGUF — мультимодальная модель для распознавания и анализа документов, разработанная prithivMLmods. Это финальная, оптимизированная версия серии Gliese-OCR, созданная на архитектуре Qwen2.5-VL и представленная в формате GGUF для использования с llama.cpp и совместимыми инструментами. Модель дообучалась на данных для визуализации документов и задач, связанных с OCR. Модель предназначена для OCR, визуального анализа, извлечения и связывания информации, преобразования документов в структурированный вид и интеллектуальной обработки документов (IDP). Она рассчитана на работу со сканированными PDF, рукописными страницами, структурированными формами и аналитическими отчётами, а также может формировать результат в формате Markdown. В карточке указано, что поддерживается английский язык. Архитектура мультимодальная: модель обрабатывает текст и изображения; размер модели — 7B параметров. Доступны варианты квантования GGUF с размерами примерно от 1,9 до 15,2 ГБ, включая F16, Q2–Q8 и IQ-квантизации, что позволяет выбирать баланс между требованиями к памяти и качеством. Сильными сторонами заявлены эффективность, точность и улучшенные возможности визуализации документов. Ограничения, включая фактическую точность на конкретных типах документов, максимальный контекст и требования к оборудованию, в README не указаны. Модель распространяется по лицензии Apache-2.0.

GLiNER2.5 Small — компактная модель извлечения информации от Fastino, построенная на архитектуре GLiNER2 boundary с энкодером DeBERTa-v3-xsmall. Веса содержат 74 млн параметров и доступны в формате safetensors; модель рассчитана на английский язык и поддерживает локальный запуск на CPU, CUDA и MPS. Модель принимает текст и по заданной схеме извлекает сущности, классифицирует текст, находит связи и атрибуты сущностей, а также формирует структурированные записи. Разреженное сопоставление начальных и конечных границ позволяет находить фрагменты произвольной длины в пределах одного окна кодирования; указанный в README предел max_len — 4096 токенов. Модель подходит для быстрой обработки на CPU и периферийных устройствах. Для длинных документов предусмотрена обработка перекрывающимися фрагментами, однако сущность или связь не извлекается, если её границы или связанные сущности не попали в один фрагмент. Обычное извлечение с max_len обрезает текст. Лицензия — Apache-2.0.

GLiNER small-v2.1 — модель для распознавания именованных сущностей, разработанная Урчаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарно. Она использует двунаправленный энкодер на основе трансформера, похожий на BERT, и позволяет извлекать из текста сущности разных типов, заданных пользователем, вместо работы только с фиксированным набором категорий. Модель предназначена для разметки текста и сценариев извлечения информации, в том числе там, где важно обойтись без крупных и ресурсоёмких LLM. Вариант small-v2.1 содержит 166 млн параметров, работает с английским языком и использует библиотеку GLiNER. Модель принимает текст и выдаёт найденные сущности с их типами. Для запуска требуется библиотека GLiNER. Распространяется по лицензии Apache-2.0.

GNER-T5-xxl — модель для генеративного распознавания именованных сущностей, разработанная авторами работы «Rethinking Negative Instances for Generative Named Entity Recognition». Она основана на архитектуре T5 и содержит 5,8 млрд параметров; модель дообучена с использованием отрицательных примеров для повышения качества распознавания сущностей, в том числе в ранее не встречавшихся областях. Предназначена для извлечения сущностей из текста и сценариев zero-shot NER. В карточке описаны результаты семейства GNER на базе Flan-T5, однако отдельные численные результаты именно для версии xxl не приведены. Модель распространяется в формате safetensors по лицензии Apache-2.0.