I.3Извлечение и структурирование данных

RT-DETR-L_wired_table_cell_det_safetensors — модель PaddlePaddle для обнаружения ячеек в изображениях таблиц. Она находит области ячеек и выдаёт для них ограничивающие рамки, которые можно передать следующему этапу распознавания структуры таблицы. Модель построена на архитектуре RT-DETR; в репозитории веса представлены в формате safetensors. Модель предназначена для обработки изображений таблиц в составе конвейера распознавания документов. В README отмечено, что заявленная точность получена при совместном тестировании с RT-DETR-L_wireless_table_cell_det, поэтому результаты нельзя однозначно приписать этому компоненту отдельно. Лицензия — Apache-2.0.

Модель denis-gordeev/rured2-ner-microsoft-mdeberta-v3-base — русскоязычная модель распознавания именованных сущностей, разработанная Денисом Гордеевым путём дообучения microsoft/mdeberta-v3-base на RURED2. Она размечает токены текста несколькими возможными метками; среди классов указаны персоны, организации, страны, города, даты, денежные суммы, профессии, источники новостей и другие сущности. Модель построена на DeBERTa V3, содержит 306 млн параметров и принимает контекст длиной до 512 токенов. Модель подходит для извлечения сущностей из русскоязычных текстов, например новостей и документов, а также для структурирования упоминаний людей, мест, организаций, событий и числовых значений. В README приведены результаты оценки: micro-F1 0,5837 в целом, при этом качество заметно различается между классами; например, для B-person F1 составляет 0,9639, а для некоторых меток показатели низкие или нулевые. Для применения требуется учитывать многозначные предсказания для отдельных токенов и проверять разметку на целевом наборе данных. Распространяется по лицензии MIT.

sakshi-pii-in — разработанная RotaVision модель классификации токенов на базе MuRIL-base-cased от Google. Она выделяет в неструктурированном тексте персональные данные индийского контекста: имена людей (PERSON), адреса (ADDRESS) и даты рождения (DOB), в том числе в смешанном хинглише и текстах на письме деванагари, бенгали и тамильском. Модель предназначена для слоя токенизации при приёме данных в платформу Sakshi; она рассчитана на сочетания английского и индийских языков и транслитераций. Это BERT-модель с 264,8 млн параметров и контекстом до 512 токенов. Обучающие данные полностью синтетические: шаблонные предложения, JSON-записи и чаты на английском, хинди, хинглише, бенгали и тамильском. В README приведены результаты на замороженном наборе из 2000 примеров: F1 0,988 для имён, 0,956 для адресов и 0,998 для дат рождения. Модель не предназначена для поиска структурированных идентификаторов вроде Aadhaar, PAN, IFSC, номеров телефонов и банковских счетов: для них README рекомендует отдельный детерминированный слой с регулярными выражениями и проверками контрольных сумм. Синтетическое обучение может ограничивать качество на OCR-ошибках и SMS-сокращениях; для других индийских письменностей ожидается более низкая полнота. Модель находит PII в тексте, но не оценивает законность обработки данных. Лицензия — Apache-2.0.

SLANeXt_wireless — модель PaddlePaddle для распознавания структуры таблиц на изображениях. Она определяет строки, столбцы и ячейки и формирует HTML-представление таблицы, которое можно передать в последующий конвейер распознавания для извлечения содержимого. Модель предназначена для оцифровки таблиц, в том числе в составе систем обработки документов на базе PaddleOCR. Модель решает задачу image-to-text; карточка связывает её с распознаванием структуры таблиц и указывает английский и китайский языки. README отмечает, что приведённая точность получена при совместном тестировании с SLANeXt_wired, поэтому её нельзя считать отдельной оценкой этой модели. Для полного распознавания таблиц документация рекомендует многошаговый конвейер, объединяющий анализ структуры с обнаружением и распознаванием текста. Модель распространяется по лицензии Apache-2.0.

SLIMER-LLaMA3 — языковая модель экспертного ИИ expertai для извлечения именованных сущностей без предварительного обучения на каждом типе сущностей. Она основана на Meta-Llama-3.1-8B-Instruct и дообучена на примерах для английского языка; размер составляет 7,5 млрд параметров, архитектура — плотная LLaMA, формат весов — Safetensors. Модель принимает текст и генерирует текстовый ответ в виде JSON-списка найденных фрагментов. Модель предназначена для zero-shot NER: пользователь задаёт тип сущности, его определение и рекомендации по разметке, после чего SLIMER извлекает подходящие упоминания из текста. Такой подход рассчитан на новые типы меток и тексты из предметных областей, отличающихся от обучающих данных; в карточке описаны оценки на CrossNER, MIT и BUSTER, включая финансовые сущности. Контекст — до 131072 токенов. Карточка сообщает об улучшении результата относительно исходной SLIMER на LLaMA-2 и о сопоставимых результатах с некоторыми современными моделями на доменах вне обучающего распределения. Лицензия — llama3.1. Модель ориентирована на английский язык; качество для других языков не заявлено. Результат следует проверять, особенно при неоднозначных упоминаниях: извлечение зависит от заданных определения и рекомендаций, а ответ ожидается в заданном JSON-формате.

Arctic-TILT — компактная модель Snowflake для понимания деловых документов. Это encoder-decoder Transformer семейства TILT; метаданные указывают 435,6 млн параметров, тогда как README приводит 822 млн. Модель предназначена для ответов на вопросы по документам и извлечения ключевой информации. Разработчики заявляют высокую эффективность и обработку длинного контекста, а также результаты, сопоставимые с моделями, которые в 1000 раз больше, на одной GPU с 24 ГБ памяти. Для работы модель оптимизирована под vLLM и требует специального планировщика и препроцессора TiltPreprocessor, код и примеры которого размещены в репозитории Snowflake-Labs/arctic-tilt. Указан формат весов safetensors. Лицензия и поддерживаемые языки в предоставленных данных не описаны.

ivlcic/sour-sarma — модель распознавания именованных сущностей для славянских языков, дообученная на базе jhu-clsp/mmBERT-base. Она использует архитектуру ModernBERT с 306,9 млн параметров и контекстом до 8192 токенов. Модель предназначена для разметки токенов и выделения сущностей в тексте; обучение проводилось на корпусах для NER, включая SUK, BSNLP, hr500k, SETimes.SR и WikiAnn. Модель охватывает словенский, хорватский, сербский, боснийский, македонский, албанский, чешский, болгарский, польский, русский, словацкий и украинский языки. В README указано, что она показывает текущий лучший результат на Slobench NER. Для неё заявлена лицензия Apache-2.0. При использовании следует учитывать, что разметка подслов повторяет метку соответствующего слова, поэтому стандартный конвейер может требовать особой обработки.

vikp/surya_layout3 — модель анализа структуры документов для проекта Surya, представленная в Hugging Face. Она предназначена для сегментации изображений страниц на области макета, например при разборе документов и подготовке их к OCR. Модель построена на архитектуре EfficientViT и содержит 38,5 млн параметров; карточка показывает загрузку через EfficientViTForSemanticSegmentation в Transformers. Для распознавания макета модель принимает изображение страницы и выдаёт сегментационную разметку. Карточка указывает лицензию CC BY-NC-SA 4.0. Отдельные сведения о языковой поддержке в карточке не приводятся; сама задача анализа визуальной структуры не требует языкового ввода.

ZurichNLP/swissbert-ner — модель ZurichNLP для распознавания именованных сущностей, дообученная на наборе WikiNEuRal. Она выполняет токеновую классификацию и выделяет сущности в немецком, французском и итальянском текстах; для ретороманского языка Grischun заявлена работа в режиме zero-shot. Модель построена на архитектуре X-MOD, содержит 151,8 млн параметров и поддерживает контекст до 514 токенов. Модель подходит для автоматической разметки имен людей, организаций и других сущностей в многоязычных текстах на языках Швейцарии. В README показано применение через pipeline Transformers с простой агрегацией меток. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель YOLOv8s от FODUU AI обнаруживает таблицы на изображениях документов и выделяет их ограничивающими рамками. Она распознаёт два класса: таблицы с рамками и без рамок. Модель построена на архитектуре YOLOv8 и предназначена для поиска таблиц в структурированных и неструктурированных документах. Результаты обнаружения можно использовать для обрезки таблиц и передачи фрагментов в отдельную систему OCR для извлечения текста. Сама модель выдаёт классы и координаты объектов, а не распознанное содержимое таблиц. Репозиторий содержит веса PyTorch; модель основана на YOLOv8s и дообучена на наборе изображений таблиц FODUU AI. Качество может снижаться на изображениях низкого разрешения, при плохом освещении, для маленьких таблиц и сложных макетов. В README лицензия не указана, поэтому условия использования следует уточнить у разработчика.

satyaalmasian/temporal_tagger_BERT_tokenclassifier — модель на основе BERT для разметки временных выражений в обычном тексте. Она предназначена для извлечения упоминаний времени, дат, длительностей и повторяющихся временных интервалов. Модель представлена в работе «BERT got a Date: Introducing Transformers to Temporal Tagging»; автор использует BERT для классификации каждого токена по тегам BIO: начало и продолжение фрагмента времени, даты, длительности или множества, а также токены вне таких фрагментов. Это модель архитектуры BERT с 136,7 млн параметров, рассчитанная на английский текст и контекст до 512 токенов. Она выдаёт метки для токенов; для получения читаемых временных фрагментов рекомендуется использовать постобработку из исходного репозитория, включая выравнивание токенов и стратегии голосования: необработанные предсказания могут быть шумными. В карточке не указаны условия лицензии.

UDOP-large — модель для обработки документов, предложенная Зинэном Таном, Цзыи Янгом и соавторами в работе «Unifying Vision, Text, and Layout for Universal Document Processing». Она использует плотную архитектуру encoder-decoder Transformer на основе T5; в чекпойнте 386,3 млн параметров. Модель принимает изображение документа вместе с текстом и генерирует текстовый ответ. Она предназначена для классификации изображений документов, разбора документов и визуальных вопросов и ответов по документам (DocVQA). Поддержка изображения и текста отражена в архитектуре и задаче image-text-to-text. Модель распространяется под лицензией MIT. README не приводит конкретных ограничений точности или покрытия языков; результаты могут зависеть от типа документа и языка.

UTC-DeBERTa-base — модель универсальной классификации токенов от Knowledgator, основанная на DeBERTaV3-base и дообученная на нескольких задачах классификации токенов, включая задачи, которые можно представить в таком формате. Архитектура — DeBERTa-v2 для классификации токенов; модель содержит 211,6 млн параметров и обрабатывает до 512 токенов за контекст. Она работает с текстом на английском языке. Модель предназначена для извлечения сущностей и другой информации из текста. Карточка описывает сценарии распознавания именованных сущностей с нулевым обучением, ответов на вопросы, извлечения отношений, разрешения кореференции, очистки и суммаризации текста. Авторы приводят результаты оценки на CrossNER для областей ИИ, литературы, музыки, политики и науки. Модель доступна в формате PyTorch через библиотеку Transformers, а для распознавания сущностей авторы рекомендуют pipeline `ner`. Лицензия — Apache-2.0. README не уточняет ограничения сверх длины контекста и английского языка, указанных в метаданных.

UTC-DeBERTa-small — универсальный классификатор токенов от Knowledgator на базе DeBERTaV3-small. Модель дообучена на нескольких задачах разметки токенов и задачах, которые можно представить в таком виде; карточка описывает её как prompt-tuned. В репозитории указаны архитектура DeBERTa-v2, 155 млн параметров и контекст до 512 токенов. Модель предназначена для извлечения сущностей и другой информации из текста. Она поддерживает zero-shot распознавание именованных сущностей и может применяться к ответам на вопросы, извлечению отношений, разрешению кореференции, очистке и суммаризации текста. В бенчмарке CrossNER приведены результаты на нескольких предметных категориях, включая ИИ, литературу, музыку, политику и науку. Модель принимает английский текст и выдаёт разметку токенов. Для запуска рекомендуется Transformers pipeline `ner`. Доступна по лицензии Apache-2.0; результаты могут зависеть от формулировки запроса и типа текста.

srmjfba/xlm-roberta-base-finetuned-panx-all — дообученная модель XLM-RoBERTa Base для классификации токенов. В метаданных указана архитектура XLMRobertaForTokenClassification, 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для разметки отдельных слов и фрагментов текста, например распознавания именованных сущностей; название указывает на обучение на PAN-X, однако README не подтверждает состав датасета. Модель использует библиотеку Transformers и распространяется в формате safetensors. В README приведены результаты оценки: F1 0,8550 и loss 0,1725. Лицензия — MIT. Сведения о поддерживаемых языках, конкретных типах меток и ограничениях качества не приводятся.

cmhyo/xlm-roberta-base-finetuned-panx-de — модель для разметки последовательностей, полученная дообучением XLM-RoBERTa Base. Архитектура XLM-RoBERTa для классификации токенов содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии MIT. Чекпойнт обучен на наборе данных PAN-X для немецкого языка и предназначен для распознавания именованных сущностей в тексте: каждому токену присваивается метка. На оценочной выборке указан показатель F1 0,8628 и loss 0,1375. Результаты зависят от данных и сценария применения; сведения о составе обучающей выборки и подробных ограничениях в карточке отсутствуют.

OmCodex/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa, дообученная для классификации токенов на основе FacebookAI/xlm-roberta-base. Она предназначена для разметки отдельных фрагментов текста, в частности для задач распознавания именованных сущностей на немецком языке, что следует из названия panx-de. В оценке на тестовом наборе указаны F1 0,8648 и loss 0,1384; подробности о наборе данных и метках не приведены. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForTokenClassification и принимает контекст до 514 токенов. Распространяется по лицензии MIT.

RoyRud1902/yolo11n-text — дообученная модель детекции текстовых областей на изображениях на базе YOLO11n от Ultralytics. Компактная архитектура YOLO11n nano содержит около 2,59 млн параметров и предсказывает ограничивающие рамки одного класса — текста. Модель рассчитана на документы, снимки экрана, интерфейсы и фотографии с текстом; библиотека для работы — Ultralytics, формат весов в репозитории — PyTorch. Модель можно использовать для поиска областей текста перед OCR, анализа документов, обработки PDF и нахождения текстовых элементов в интерфейсах. В README приведены результаты обучения на наборе DonkeySmall/Yolo-Text-Detection: precision 95,7%, recall 93,6% и mAP@50 97,6%. Лицензия — Apache-2.0. Модель лучше подходит для горизонтального текста; точность на повёрнутом тексте может снижаться. Она обучалась преимущественно на документах и изображениях интерфейсов, не различает типы текста и показывает лучшие результаты при размере входа около 640 пикселей.

keremberke/yolov8s-table-extraction — модель компьютерного зрения на архитектуре YOLOv8, опубликованная Keremberke. Она предназначена для обнаружения таблиц на изображениях документов и различает два типа: с границами и без границ. Модель доступна в формате PyTorch и рассчитана на запуск с библиотекой Ultralytics. Модель подходит для автоматического поиска таблиц при разборе сканов и изображений документов. Карточка указывает метки классов, но не приводит сведений о размере модели, контекстном окне, поддерживаемых языках или точности. Лицензия в предоставленных данных не указана.

ZhiXi-13B-Diff — дифференциальные веса модели ZhiXi, разработанной проектом KnowLM для извлечения знаний. Чтобы восстановить веса, их необходимо применить к LLaMA-13B. В карточке описаны полное предварительное обучение на китайских и английских корпусах и последующая настройка инструкциями для извлечения сущностей, отношений и другой информации. Модель также сохраняет способности к работе с английским языком и кодом; приведены примеры перевода и следования инструкциям. Это плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров и контекстом 2048 токенов. Она принимает текст и генерирует текст; карточка заявляет поддержку китайского и английского языков. Файлы представлены в формате PyTorch, лицензия — Apache-2.0. Дифференциальный формат требует исходных весов LLaMA-13B для восстановления модели.

Модель iguanodon-ai/bert-base-finnish-uncased-ner — версия BERT, дообученная для распознавания именованных сущностей в финском тексте. В качестве исходной модели использована Turku NLP bert-base-finnish-uncased-v1, а для дообучения — корпус turku_ner_corpus. Модель предназначена для разметки токенов и извлечения именованных сущностей из финских текстов. Она построена на архитектуре BERT, содержит 151,7 млн параметров и рассчитана на последовательности длиной до 512 токенов. В карточке приведены метрики проверки: F1 0,873; по отдельным классам качество может различаться. Модель распространяется по лицензии Apache 2.0. При использовании следует упомянуть обучающий корпус turku_ner_corpus.

Это модель для распознавания именованных сущностей в немецком тексте. Она основана на bert-base-german-cased и дообучена на собственном наборе данных, состав которого в карточке не раскрыт. Архитектура — BERT для классификации токенов; модель содержит 136,3 млн параметров и обрабатывает контекст длиной до 512 токенов. Модель подходит для разметки немецких текстов по типам сущностей. На указанном в карточке наборе оценки она получила F1 0,7772, точность 0,7134 и полноту 0,8536; результаты на других данных могут отличаться. Распространяется по лицензии MIT.

dslim/bert-base-NER-uncased — модель токенной классификации на архитектуре BERT, опубликованная dslim на Hugging Face. Она предназначена для распознавания именованных сущностей в англоязычном тексте: в частности, персон, организаций, географических названий и сущностей категории MISC. Модель основана на BERT base uncased и дообучена для NER; содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она возвращает метки для токенов, поэтому подходит для извлечения сущностей из предложений и документов. Доступны веса PyTorch, TensorFlow, JAX и safetensors. Модель ориентирована на английский язык и не является универсальной многоязычной NER-системой. Лицензия — MIT.

Модель learnrr/bert-base-ontonotes5-ner — англоязычная BERT-base-cased, дообученная на английской части набора OntoNotes 5.0 (CoNLL-2012) для распознавания именованных сущностей. Она размечает токены в тексте и распознаёт 18 типов сущностей, включая имена людей и организаций, географические названия, даты, суммы, события и произведения. Архитектура — BertForTokenClassification, размер — 135,5 млн параметров, формат весов — Safetensors, максимальная длина контекста — 512 токенов. Модель подходит для извлечения сущностей из англоязычных текстов и их последующей структуризации. В README приведены результаты на тестовой части OntoNotes 5.0, но показаны лишь отдельные классы, поэтому по карточке нельзя оценить качество на всех типах сущностей или на данных из других областей. Модель распространяется по лицензии MIT.

HooshvareLab/bert-fa-base-uncased-ner-peyma — модель для распознавания именованных сущностей в персидском тексте, разработанная на основе ParsBERT v1.1 и дообученная командой HooshvareLab на персидских корпусах. Она использует архитектуру BERT с классификацией каждого токена и размечает сущности в формате IOB: организации, денежные суммы, местоположения, даты, время, имена людей и проценты. Модель предназначена для извлечения структурированных сведений из персидских текстов, например для поиска организаций и персон в новостях или выявления дат и денежных сумм в документах. В README для набора PEYMA сообщается результат F1 93,40. Контекст модели составляет 512 токенов, размер — около 190 млн параметров; доступны версии весов PyTorch, TensorFlow и Flax. Модель поддерживает персидский язык и распространяется по лицензии Apache-2.0. Она ориентирована на NER и категории набора PEYMA; README не сообщает оценок для других языков, доменов или наборов сущностей.

bertin-project/bertin-base-ner-conll2002-es — испаноязычная модель для распознавания именованных сущностей, разработанная командой проекта BERTIN. Это модель RoBERTa-base с головой классификации токенов, дообученная на наборе CoNLL2002-es; базовая модель Bertin Gaussian 512 обучалась с нуля на испанских текстах. Модель принимает текст и присваивает метки его токенам, чтобы выделять сущности в задачах NER. Контекст модели составляет 514 токенов, число параметров — 151,8 млн. Модель подходит для извлечения имен и других размечаемых сущностей из испаноязычных текстов, например для подготовки корпуса или автоматической индексации документов. Она опубликована в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0; при использовании необходимо соблюдать её условия.

osiria/bert-italian-cased-ner — модель BERT базового размера с учётом регистра, разработанная для распознавания именованных сущностей в итальянском тексте. Она дообучена на базе bert-base-italian-cased на датасете WikiNER и дополнительном наборе вручную размеченных абзацев из Википедии. Модель присваивает токенам метки четырёх классов: люди, места, организации и прочие сущности, включая события, товары и услуги. Она предназначена для извлечения сущностей из веб-страниц, новостей и других грамотных цифровых текстов. В README приведён результат F1 92,78 на тестовом наборе; метрики рассчитаны на уровне токенов и усреднены по классам. Модель имеет около 136,9 млн параметров, контекст до 512 токенов и доступна в форматах PyTorch и Safetensors. Модель хуже подходит для шумных текстов с ошибками и сленгом, а также для узкоспециализированных медицинских, финансовых и юридических материалов. Лицензия — Apache-2.0.

Jean-Baptiste/camembert-ner — модель распознавания именованных сущностей, созданная дообучением CamemBERT на французском датасете wikiner-fr, содержащем около 170 тысяч предложений. Она размечает токены как имена людей, организации, географические объекты, прочие сущности или текст вне сущностей. Модель предназначена для извлечения сущностей из французских текстов, в том числе электронных писем и чатов; автор сообщает, что на таких данных она лучше справлялась с сущностями, начинающимися со строчной буквы. Архитектура — CamemBERT для классификации токенов, около 137,8 млн параметров и контекст до 514 токенов. В README приведена общая оценка F1 0,8914; показатель F1 для имен людей — 0,9483. Доступны файлы PyTorch, Safetensors и ONNX. Модель распространяется по лицензии MIT. Качество зависит от типа текста и категорий сущностей: обучение проводилось на wikiner-fr, а приведённые метрики не гарантируют таких же результатов на других данных.

Chonky mmBERT Small Multilingual 1 — модель разметки токенов на базе мультиязычной jhu-clsp/mmBERT-small, разработанная автором репозитория mirth. Она находит в тексте точки смыслового разделения и помогает разбивать документы на связные фрагменты для последующей индексации и поиска в RAG-системах. Модель можно использовать через библиотеку chonky или стандартный pipeline NER в Transformers. Модель содержит 140,5 млн параметров и принимает последовательности длиной до 8192 токенов, однако при дообучении использовалась длина 1024 токена. В README приведены результаты token-based F1 на нескольких языках: модель показывает высокие значения на ряде европейских языков и русском, но значительно более низкое значение для китайского. Обучение проводилось на фрагментах BookCorpus, MiniPile и Project Gutenberg. Лицензия — MIT.

SIRIS-Lab/citation-parser-SPAN — модель для разметки токенов, предназначенная для выделения и разбора элементов библиографических цитат. По идентификатору модели она ориентирована на обработку ссылок и цитирований в научных текстах, например на извлечение отдельных компонентов цитаты для последующего структурирования библиографии. Разработчик в доступных данных не указан. Модель построена на архитектуре DeBERTa-v2 и использует библиотеку Transformers. Она содержит около 211,6 млн параметров и поддерживает контекст длиной до 512 токенов. Основная модальность — текст; языки в метаданных и README не определены. Лицензия также не указана, поэтому условия распространения и коммерческого использования следует уточнить на странице модели.