I.3Извлечение и структурирование данных

Nougat Small — модель семейства Nougat, разработанная командой Nougat для преобразования страниц научных PDF-документов в Markdown. Это версия 0.1.0-small; модель обучена на задаче транскрибации PDF в Markdown и предсказывает текст по изображению страницы. Архитектура состоит из визуального кодировщика Swin Transformer и текстового декодировщика mBART в схеме vision-encoder-decoder. Модель принимает изображение страницы и генерирует текстовую разметку Markdown. Лицензия — CC BY 4.0. Основное применение — извлечение и структурированная транскрибация содержимого научных документов. Карточка рекомендует использовать модель для преобразования PDF в Markdown; отдельные количественные характеристики и ограничения качества в README не приведены.

guishe/nuner-v2_fewnerd_fine_super — англоязычная модель распознавания именованных сущностей, созданная дообучением NuNER-v2.0 на наборе FewNERD-fine-supervised. Она использует архитектуру RoBERTa для классификации токенов и предназначена для извлечения из текста сущностей из специализированных категорий FewNERD, включая названия произведений искусства и другие типы сущностей. Модель содержит 151,8 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт метки сущностей для токенов. Базовая NuNER-v2.0 предварительно обучалась на разнообразном корпусе из миллиона синтетически размеченных предложений; эта версия адаптирована к FewNERD. Опубликованные в карточке примеры метрик относятся к обучающей выборке, поэтому по ним нельзя судить о качестве на новых данных. Модель распространяется по лицензии CC BY-SA 4.0.

jinhybr/OCR-DocVQA-Donut — модель Donut базового размера, дообученная на наборе DocVQA для ответов на вопросы по изображениям документов. Она принимает изображение документа и генерирует текстовый ответ, используя архитектуру vision encoder-decoder: визуальный энкодер Swin Transformer кодирует изображение, а декодер BART авторегрессионно формирует ответ. Модель предназначена для визуального анализа документов и сценариев вопросно-ответного поиска по их содержимому без отдельного этапа OCR. Выпущена под лицензией MIT. Модель специализирована на DocVQA; её точность на других типах документов и задачах не подтверждена в карточке. Указанная конфигурация — базовый размер; число параметров и длина контекста в предоставленных данных не приведены.

OpenMed-PII-SuperClinical-Small-44M-v1-onnx-android — модель OpenMed для обнаружения персональных и клинических идентификаторов в англоязычных клинических и биомедицинских текстах. Она предназначена для token classification и может применяться в задачах выявления и последующей деидентификации конфиденциальных данных. Модель не диагностирует заболевания и не принимает клинических решений. Модель построена на архитектуре DeBERTa-v2 и содержит около 44 миллионов параметров. Она обрабатывает английский язык и поддерживает последовательности длиной до 512 токенов. Распознаётся более 55 типов сущностей, включая имена, даты, адреса, телефоны, электронную почту, номера медицинских записей, страховые идентификаторы, SSN, IP- и MAC-адреса, сведения о здоровье, расе и этнической принадлежности, религиозных убеждениях и другие персональные или клинические идентификаторы. В комплект входят ONNX-графы INT8, FP16 и полной точности, токенизатор и метаданные для интеграции. Модель рассчитана на локальный запуск после загрузки: на CPU в Python, в браузере через WebAssembly или WebGPU, а также на Android. Она возвращает найденные сущности, оценки уверенности и точные смещения в исходном тексте. Локальная обработка может поддерживать сценарии с повышенными требованиями к приватности и офлайн-развёртыванию, однако сама по себе не гарантирует соблюдение нормативных требований. Перед использованием необходимо оценить полноту обнаружения, пороги уверенности и корректность выделения фрагментов на данных целевого домена. Модель распространяется по лицензии Apache-2.0.

Ortix Seg LV Small — модель сегментации латышского текста на предложения, разработанная Baltrix в рамках выпуска Ortix. Она выявляет границы предложений в письменном латышском и предназначена для очистки документов, обработки корпусов и предварительной подготовки текста для поиска и других NLP-конвейеров. Это компактная модель token classification на базе DeBERTa-v2 с 53,5 млн параметров и контекстом 1024 токена. Вариант Small использует три слоя и рассчитан на меньшие затраты при выполнении; пакет ortix-seg применяет конфигурацию сегментации и правила постобработки для латышского языка. Модель дообучена на AiLab-IMCS-UL/lv-deberta-base и распространяется по лицензии Apache-2.0.

PhoBERT-ner — модель VinAI PhoBERT-base-v2, дообученная пользователем quocanh944 для классификации токенов. Архитектура — RoBERTa с головой RobertaForTokenClassification; модель содержит 162,4 млн параметров, использует формат safetensors и принимает последовательности длиной до 258 токенов. Модель предназначена для разметки отдельных токенов во вьетнамском тексте. Такая задача может применяться, например, для распознавания сущностей, однако конкретные классы меток, обучающий датасет и результаты оценки не описаны. Базовая PhoBERT рассчитана на обработку вьетнамского языка. Лицензия и ограничения применения в доступной карточке не указаны. Качество и пригодность модели для конкретной схемы разметки следует оценивать отдельно.

pii-layout-synth-v2 — дообученная модель на базе answerdotai/ModernBERT-base, разработчик — jefftherover. Она предназначена для классификации токенов; название модели указывает на синтетические данные для разметки персональной информации с учётом структуры документа, но README не описывает конкретные метки или сценарии применения. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и принимает последовательности длиной до 8192 токенов. Доступны веса в формате safetensors. В README приведены результаты оценки: F1 0,9890, precision 0,9870, recall 0,9911 и accuracy 0,9982. Датасет и условия оценки не раскрыты, поэтому эти показатели нельзя напрямую переносить на другие данные. Лицензия — Apache-2.0.

noczero/pii-xlmr-bilingual — дообученная модель XLM-RoBERTa для поиска и разметки персональных данных в тексте на английском и корейском языках, включая их смешанное употребление. Модель находит семь типов сущностей: людей, корейские регистрационные номера жителей (RRN), телефоны, адреса электронной почты, адреса, номера карт и организации. Архитектура — XLMRobertaForTokenClassification, около 305,2 млн параметров; базовая модель — FacebookAI/xlm-roberta-base. Максимальная длина контекста — 514 токенов. Модель предназначена для выявления фрагментов с персональными данными перед их редактированием или маскированием, в том числе в локальных системах без сетевых вызовов при инференсе. В README сообщается о строгом F1 по точным границам сущностей 0,9711 на генеративном наборе и 0,9161 на смешанном англо-корейском наборе; результаты на реальном тексте ниже — 0,7356 в целом, причём слабее всего распознаются организации. Лицензия — MIT.

google/pix2struct-base — предварительно обученная модель Pix2Struct, разработанная Google и представленная в экосистеме Hugging Face. Это архитектура «визуальный энкодер — текстовый декодер», обученная преобразовывать изображения в текст; веса предназначены для дообучения под конкретные задачи. Модель рассчитана на визуальное понимание содержимого изображений, включая подписи к изображениям и ответы на вопросы по ним. Предобучение нацелено на разбор замаскированных снимков веб-страниц в упрощённый HTML; подход охватывает сигналы, связанные с OCR и описанием изображений. Вход может иметь переменное разрешение, а языковые подсказки и вопросы могут быть представлены на изображении. Карточка перечисляет документы, иллюстрации, пользовательские интерфейсы и обычные фотографии как области последующего применения. Модель не заявлена как готовая универсальная система: для прикладного сценария требуется дообучение. Репозиторий распространяется по лицензии Apache-2.0.

PolizzeDonut-SoloPDF-3Epochs — дообученная tedad09 модель на базе naver-clova-ix/donut-base. Это архитектура vision-encoder-decoder для преобразования изображений документов в текст. В метаданных указана задача image-text-to-text, а в README сообщается о дообучении на наборе imagefolder и значении loss 1.1551 на оценочном наборе. Модель предназначена для обработки изображений документов; конкретный сценарий разбора полисов и поддерживаемые поля в карточке не описаны. Сильная сторона базовой модели Donut — работа с изображением и текстом в единой модели. Результаты оценки, кроме значения loss, и ограничения применения не приведены. Лицензия — MIT.

PP-OCRv4_mobile_rec — модель распознавания строк текста из серии PP-OCRv4_rec, разработанная командой PaddleOCR. Она принимает изображения отдельных текстовых строк и возвращает распознанный текст; её можно использовать как модуль распознавания в конвейере OCR вместе с обнаружением текста и, при необходимости, коррекцией ориентации или деформации изображения. Модель рассчитана на обычные сценарии распознавания китайского и английского текста, с основным акцентом на китайский. PP-OCRv4 развивает PP-OCRv3: в серии оптимизированы данные, структура сети и стратегия обучения. В метаданных размер и численная архитектура не приведены. Модель распространяется по лицензии Apache-2.0. README отмечает, что оценка точности строки засчитывает её как ошибочную при неверном распознавании хотя бы одного символа, включая пунктуацию. Описанная модель распознаёт текстовые строки, а для полноценного OCR-конвейера нужны дополнительные модули, в частности обнаружение текста.

lmstudio-community/Qwen2.5-VL-3B-Instruct-GGUF — мультимодальная инструкционная модель Qwen2.5-VL-3B-Instruct, разработанная Qwen и представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для задач анализа изображений и текста, включая распознавание объектов, интерпретацию текстов, диаграмм, графиков, значков и макетов в изображениях. Модель поддерживает контекст до 128 тысяч токенов, заявлена как мультиязычная и может формировать структурированные ответы, включая стабильный JSON. Она также предназначена для сценариев визуального агента с рассуждением и динамическим управлением инструментами, в том числе для взаимодействия с компьютером и телефоном. К сильным сторонам относятся анализ визуальной информации и работа со структурированными данными; конкретные ограничения, результаты тестов и перечень поддерживаемых языков в README не указаны. Лицензия — qwen-research.

Карточка модели alhparsa/qwen35-extract-tsv-v1 на Hugging Face совпадает с карточкой alhparsa/qwen35-extract-tsv-v2, поэтому описание составлено по ней. alhparsa/qwen35-extract-tsv-v2 — дообученная модель семейства Qwen3.5 для извлечения фактов из изображений страниц медицинских документов, например приёмных и клинических записей. Она принимает изображения вместе с текстовыми инструкциями и выдаёт компактный TSV: контекстную строку с идентификационными данными пациента и строки с фактами, временными данными, тегами и оценкой уверенности. Модель может использовать только теги из списка, переданного во входном сообщении. README описывает полное выборочное дообучение Qwen3.5-9B и гибридную архитектуру с GatedDeltaNet, блоками полного внимания и зрительным модулем. Для обслуживания рекомендуются vLLM, длина контекста 32768 токенов и параметры обработки изображений из карточки; указаны также режимы ускоренного декодирования DFlash/MTP. По оценке авторов, на их проверке извлечение достигает примерно 98–100% полноты и около 100% точности после удаления дублей; заявленная скорость — 4,4–4,9 секунды на страницу на двух H100. Эти показатели относятся к проверке автора и не гарантируют такое же качество на других документах. Модель предназначена для извлечения структурированных сведений из медицинских документов, в том числе из многостраничных PDF после преобразования страниц в изображения. Для полноты авторы рекомендуют обрабатывать перекрывающиеся окна страниц и объединять результаты с последующим удалением смысловых дублей. Лицензия в метаданных обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

sapienzanlp/relik-retriever-e5-base-v2-aida-blink-encoder — веса компонента Retriever системы ReLiK, разработанной SapienzaNLP и дообученной на AIDA-CoNLL. Retriever ищет подходящие документы или сущности в коллекции и служит частью конвейера для связывания упоминаний с сущностями; для извлечения отношений в ReLiK предусмотрен отдельный компонент Reader. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и принимает текст, формируя векторные представления. Контекст ограничен 512 токенами; в метаданных указан английский язык. Модель рассчитана на быстрый поиск для связывания сущностей и использования в задачах извлечения информации. В README приведено сравнение ReLiK Base с другими системами на AIDA и нескольких тестовых наборах, включая оценку скорости, однако результаты зависят от теста и оборудования. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

Модель robbert0410lrate7.5b16 — дообученная для классификации токенов версия нидерландской RobBERT-v2 Dutch Base от разработчика pdelobelle. Она предназначена для задач разметки последовательностей, где требуется присвоить метку каждому токену. Модель содержит 144 млн параметров, использует архитектуру RoBERTa и принимает текст; длина контекста составляет 514 токенов. Репозиторий содержит веса в формате PyTorch. На оценочном наборе автор сообщает F1 0,8307, точность 0,8523, полноту 0,8173 и accuracy 0,9209. Датасет неизвестен из доступных сведений, поэтому показатели нельзя уверенно переносить на другие задачи или данные. Базовая модель рассчитана на нидерландский язык; лицензия модели — MIT.

roberta-base-ca-v2-cased-ner — модель распознавания именованных сущностей в каталонском тексте, разработанная подразделением Text Mining Unit центра Barcelona Supercomputing Center в рамках Projecte AINA. Это модель RoBERTa с 151,8 млн параметров, дообученная на основе projecte-aina/roberta-base-ca-v2; она принимает текст и присваивает метки его токенам, выделяя именованные сущности. Контекст модели составляет 514 токенов. Модель предназначена для извлечения именованных сущностей из каталонских текстов. Она обучалась и оценивалась на наборе AnCora-Ca-NER, где достигла F1 89,29. Результаты могут ухудшаться на текстах и сценариях, отличающихся от обучающих данных; создатели также отмечают, что возможны смещения, связанные с источниками обучающих корпусов. Модель распространяется по лицензии Apache 2.0.

Immerwinter/roberta-wechsel-privacy-policy-content-retention — немецкоязычная модель классификации текста, созданная на основе benjamin/roberta-base-wechsel-german. Она предназначена для отнесения фрагментов политики конфиденциальности к теме Content и категории Retention; README перечисляет также соседние категории конвейера, включая Deletion, Processing и UserRights. Модель построена на архитектуре RoBERTa для классификации последовательностей, содержит 151,8 млн параметров и принимает текст длиной до 514 токенов. Доступны веса в форматах Safetensors и ONNX. Лицензия — Apache-2.0.

sat-1l — модель семейства Segment Any Text, предназначенная для сегментации текста на предложения в составе wtpsplit. Авторы описывают её как модель с одним слоем Transformer; в метаданных указаны архитектура SubwordXLMForTokenClassification, 201,4 млн параметров и контекст 514 токенов. Основная задача в каталоге Hugging Face — token-classification. Модель рассчитана на многоязычную обработку текста. Метаданные указывают поддержку ряда языков, включая английский, немецкий, французский, испанский, арабский, хинди и японский. Доступны веса PyTorch и ONNX. Репозиторий опубликован под лицензией MIT.

EMBO разработала EMBO/SourceData_NER_v1_0_0_BioLinkBERT_base — дообученную на наборе source_data модель BioLinkBERT-base для классификации токенов. Она предназначена для распознавания сущностей в биомедицинских текстах, например для извлечения терминов из научных публикаций. Модель построена на архитектуре BERT, содержит 135,4 млн параметров и принимает последовательности длиной до 512 токенов. В README указаны результаты оценки: accuracy 0,9565, precision 0,8159, recall 0,8538 и F1 0,8344; они относятся к использованному набору оценки и не гарантируют аналогичного качества на других данных. Модель распространяется по лицензии Apache-2.0.

stanfordnlp/stanza-cs — модель Stanza для чешского языка, разработанная Stanford NLP. Она входит в набор инструментов Stanza для лингвистического анализа текста и предназначена для распознавания именованных сущностей и других задач анализа естественного языка; в метаданных для неё указана задача классификации токенов. Модель работает с текстом на чешском языке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не приводит размер модели, длину контекста и конкретные ограничения.

TableLLM-13B — модель RUCKBReasoning для манипуляций с табличными данными в электронных таблицах и документах. Это плотная авторегрессионная модель семейства Llama на 12,9 млрд параметров, дообученная на основе CodeLlama-13b-Instruct-hf; веса доступны в формате safetensors. Контекст модели составляет 16 384 токена. Модель принимает описание таблицы и вопрос на естественном языке, после чего генерирует Python-код для операций с таблицами в электронных таблицах — добавления, удаления, обновления, запросов, объединения и построения графиков — либо текстовый ответ на вопрос о небольшой таблице в документе. В README приведены оценки на наборах WikiSQL, Spider, WikiTQ, TAT-QA, FeTaQA и OTTQA; модель предназначена для задач работы с таблицами в офисных сценариях. Карточка указывает лицензию Llama 2. Описание не уточняет ограничения по точности и практическим условиям использования; сгенерированный код и ответы следует проверять перед применением.

wtp-bert-mini — компактная символьная модель BERT для классификации токенов, опубликованная пользователем benjamin на Hugging Face для проекта wtpsplit. Она предназначена для восстановления границ предложений и связанных задач сегментации текста. Модель содержит около 12 млн параметров, принимает текстовые последовательности длиной до 512 токенов и поддерживает множество языков; репозиторий включает веса PyTorch и ONNX. Карточка модели распространяется по лицензии MIT.

Baljinnyam/xlm-roberta-base-mongolian-ner-finetuning — модель XLM-RoBERTa-base, дообученная для распознавания именованных сущностей в монгольском тексте. Она выполняет токенную классификацию: присваивает метку каждому фрагменту текста. В README приведены результаты оценки: F1 0,9310, точность 0,9267, полнота 0,9354 и accuracy 0,9796; название набора данных в карточке не раскрыто. Модель содержит около 305,2 млн параметров, работает на PyTorch и имеет контекстное окно 514 токенов. Лицензия — MIT. Карточка не уточняет наборы распознаваемых сущностей и ограничения оценки, поэтому приведённые метрики не гарантируют качество на других текстах.

Это многоязычная модель XLM-RoBERTa-large, разработанная Facebook AI и дообученная на испанской части набора CoNLL-2002. Архитектура — трансформер XLM-RoBERTa для заполнения маски; модель содержит 658,7 млн параметров и поддерживает контекст до 514 токенов. Базовая модель обучалась на 100 языках на отфильтрованных данных CommonCrawl. Модель предназначена для предсказания скрытых токенов и может применяться к классификации токенов, включая распознавание именованных сущностей и разметку частей речи в испанском тексте. Для испанской NER она дообучена на CoNLL-2002; карточка также описывает более широкую многоязычную основу, но не подтверждает равное качество этих задач на других языках. Возможны смещения и воспроизведение стереотипов, а сгенерированные продолжения могут быть оскорбительными. Лицензия в карточке не определена, поэтому условия использования следует уточнить у владельца модели.

ZeroNER — англоязычная модель распознавания именованных сущностей, разработанная командой DISI UniBo NLP и представленная в статье ACL 2025. Это дообученная BERT-модель с архитектурой cross-encoder: она сопоставляет упоминание в тексте с естественно-языковым описанием типа сущности и предназначена для zero-shot распознавания типов, для которых нет размеченных примеров. Модель подходит для извлечения сущностей с новыми типами в разных предметных областях. Для обучения использовался автоматически размеченный датасет PileUncopyrighted-NER-BIO, созданный при помощи LLaMA-3.1-8B-Instruct и прошедший дополнительную фильтрацию LLM. В README заявлено превосходство над LLM размером до 8 млрд параметров и некоторыми энкодерными моделями в описанных авторами условиях оценки. Модель основана на google-bert/bert-base-cased, содержит 135,5 млн параметров и имеет контекст до 512 токенов. Для использования авторы интегрировали её в библиотеку IBM Zshot. Лицензия — MIT. Карточка не приводит сведений об ограничениях на домены или о качестве для языков, отличных от английского.

ckiplab/albert-base-chinese — модель ALBERT от CKIP для обработки традиционного китайского языка. В репозитории представлены модели и инструменты для сегментации слов, разметки частей речи и распознавания именованных сущностей; этот чекпойнт предназначен для классификации токенов и распознавания сущностей. Модель использует архитектуру ALBERT и содержит 129,5 млн параметров. Она принимает текст и выдаёт метки для токенов; максимальная длина контекста — 512 токенов. Для токенизации автор рекомендует BertTokenizerFast вместо AutoTokenizer. Модель подходит для извлечения именованных сущностей из текстов на традиционном китайском языке. В карточке также упомянуты сегментация слов и разметка частей речи как задачи проекта, но подтверждённая задача этого чекпойнта — классификация токенов. Лицензия — GPL-3.0.

CKIP ALBERT Tiny Chinese — компактная модель на архитектуре ALBERT для классификации токенов в традиционном китайском языке. Её разработал Mu Yang из CKIP; карточка проекта описывает набор традиционно-китайских моделей и инструментов для сегментации слов, разметки частей речи и распознавания именованных сущностей. Для этой модели основная задача — распознавание сущностей в тексте. Модель содержит 12,8 млн параметров, использует формат PyTorch и поддерживает контекст до 512 токенов. Для токенизации автор рекомендует BertTokenizerFast. Модель подходит для извлечения сущностей из традиционно-китайских текстов, например имён людей, организаций и мест, однако карточка не уточняет набор меток и показатели качества. Лицензия — GPL-3.0.

ahotrod/albert_xxlargev1_squad2_512 — англоязычная модель семейства ALBERT для поиска ответов на вопросы по предоставленному тексту. В метаданных указаны архитектура AlbertForQuestionAnswering, 3,3 млрд параметров и контекст до 512 токенов; доступны веса PyTorch и TensorFlow. README приводит результаты на наборе SQuAD 2.0: exact match 86,11 и F1 89,35 по 11 873 примерам, включая вопросы с ответом и без ответа. Модель подходит для извлечения ответа из контекста, в том числе для определения случаев, когда в тексте нет ответа. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

BC5CDRSciBERTNER — дообученная модель на основе allenai/scibert_scivocab_uncased для распознавания названий химических веществ и заболеваний в научных текстах. Она выполняет разметку токенов, относя их к классам Chemical и Disease, и подходит для извлечения этих сущностей из биомедицинской литературы. Модель основана на архитектуре BERT, содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Для английских названий химических веществ на оценочной выборке указаны precision 0,92, recall 0,94 и F1 0,93; для заболеваний — precision, recall и F1 по 0,98. Модель использует лицензию базовой модели только если она применима к этому чекпойнту; сведения о лицензии в предоставленных источниках отсутствуют.

BERT large Japanese v2 — языковая модель, разработанная командой Tohoku NLP и предварительно обученная на японских текстах из CC-100 и японской Википедии. Она предназначена для построения систем понимания японского языка и дообучения под задачи классификации, извлечения информации и другие задачи обработки текста. Модель основана на архитектуре BERT Large: 24 слоя, размер скрытого представления 1024, 16 голов внимания и около 436,2 млн параметров. Тексты токенизируются с помощью MeCab и словаря Unidic 2.1.2, затем разбиваются на WordPiece-токены; словарь содержит 32 768 токенов. При предварительном обучении применялась маскировка целых слов. Контекст ограничен 512 токенами; доступны веса PyTorch, TensorFlow и Flax. Модель рассчитана на японский язык и подходит как базовый чекпойнт для последующей адаптации. Это предварительно обученная модель BERT, а не готовый генеративный чат-ассистент. Распространяется по лицензии Apache-2.0.