I.3Извлечение и структурирование данных

Модель NYTK/named-entity-recognition-nerkor-hubert-hungarian — венгерская модель распознавания именованных сущностей, разработанная NYTK. Она основана на SZTAKI-HLT/hubert-base-cc и дообучена на наборе NYTK-NerKor. Модель размечает текст по категориям PER (люди), LOC (места), MISC (прочие сущности) и ORG (организации). Модель предназначена для извлечения имен людей, географических названий и организаций из венгерского текста, например из новостей и документов. Архитектура — BERT для классификации токенов; в метаданных указан размер 137,8 млн параметров и контекст до 512 токенов. В карточке модели приведён максимальный размер последовательности 128 токенов и F-score 90,18%. Модель распространяется по лицензии Apache-2.0. Указанный в карточке предел последовательности в 128 токенов требует разбивать более длинные тексты на фрагменты перед обработкой.

Needle 3 — компактная языковая модель компании Cactus Compute для локального запуска на мобильных устройствах, носимой электронике, роботах, системах умного дома, автомобилях и микроконтроллерах. В метаданных указаны 175,4 млн параметров, плотная архитектура NeedleForToolCalling и контекст до 8192 токенов. Модель распространяется под лицензией Apache-2.0. Needle 3 предназначена прежде всего для вызова функций и инструментов: она выбирает подходящие функции из заданных приложением и заполняет их аргументы по запросу пользователя. Также модель извлекает структурированные данные из неформатированного текста с ограничением формата ответа грамматикой и создаёт векторные представления предложений для локального поиска, сопоставления и маршрутизации. Разработчик указывает, что модель оптимизирована для этих задач на устройствах с ограниченными ресурсами, жертвуя возможностями общего чата. Архитектура сочетает Monarch Hadamard MLP, групповое внимание с причинными свёрточными связями, память n-грамм engram и многоканальные гиперсвязи; доступны варианты глубиной от 2 до 20 слоёв. README также описывает сжатие весов и грамматическое ограничение вывода. Для распознавания речи модель может работать вместе с отдельной моделью Whistle, но Needle 3 сама по себе не является моделью распознавания речи. Ограничения включают меньшие возможности общего диалога и зависимость качества вызова инструментов от описаний функций и заданных схем.

NERDE-base — дообученная модель на архитектуре BERT для распознавания именованных сущностей в тексте на португальском языке. Модель разработана на основе pierreguillou/bert-base-cased-pt-lenerbr и дообучена на наборе данных nerde. Она содержит 136,1 млн параметров, принимает последовательности длиной до 512 токенов и выдаёт метки для токенов. На оценочной выборке указаны Precision 0,9119, Recall 0,9153, F1 0,9136 и Accuracy 0,9842. Модель предназначена для извлечения сущностей из португальских текстов; доступные сведения не уточняют набор типов сущностей и ограничения по жанрам или доменам. Весовые файлы представлены в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

Венгерская модель распознавания и классификации именованных сущностей, разработанная на основе SZTAKI-HLT/hubert-base-cc и дообученная на корпусе NerKor+CARS-ONPP. Она размечает текст по более чем 30 типам сущностей: людям, организациям и местам, а также датам, количествам, языкам, национальностям и другим категориям. Отдельные типы охватывают автомобили и другие транспортные средства, СМИ, награды и проекты. Модель построена на архитектуре BERT, содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов по метаданным; в README указан предел max_seq_length 448. Она предназначена для NER на венгерском языке, в том числе для извлечения сущностей из новостных текстов. Лицензия — GPL.

NERmembert-base-3entities — модель для распознавания именованных сущностей во французском тексте, разработанная Centre Aquitain des Technologies de l'Information et Electroniques и автором Loïck Bourdois. Она основана на CamemBERT base, дообученной для выделения персон (PER), организаций (ORG) и географических объектов (LOC). Модель обучалась на объединённом и очищенном наборе frenchNER_3entities из пяти французских датасетов для NER: около 420 тысяч размеченных предложений, включая обучающую, валидационную и тестовую выборки. Архитектура — CamembertForTokenClassification, размер — 137,8 млн параметров, максимальная длина контекста — 514 токенов. Модель принимает французский текст и возвращает метки сущностей для его токенов. Модель подходит для извлечения имён людей, названий организаций и мест из французских документов и текстовых корпусов. В карточке указана лицензия MIT. Заявленные результаты оценки приведены в README, но численные таблицы в доступном тексте опущены; качество на других доменах и типах текста может отличаться.

arubenruben/NER-PT-BERT-CRF-Conll2003 — дообученная модель BERT для распознавания именованных сущностей в португальском тексте. Для декодирования последовательности меток используется Conditional Random Field (CRF); основная схема разметки — CoNLL-2003, также доступны схемы HAREM Default и Selective. Модель предназначена для извлечения сущностей из текста с помощью Transformers и применима в проектах анализа португальского языка. В README сообщается о тестировании на Portuguese Wikineural Dataset с результатом F1 0,951. Репозиторий содержит веса PyTorch; лицензия и размер модели в предоставленных данных не указаны.

OneChart — модель, описанная в статье «OneChart: Purify the Chart Structural Extraction via One Auxiliary Token»; в карточке перечислены Jinyue Chen, Lingyu Kong и соавторы. Она предназначена для анализа изображений диаграмм и извлечения их структуры. В примере использования изображение передаётся модели вместе с токенизатором, а метод chat возвращает результат разбора с проверкой надёжности. Модель основана на архитектуре OneChartOPTForCausalLM, содержит около 151,9 млн параметров и имеет контекст длиной 4096 токенов. README показывает обработку изображения, а метаданные указывают pipeline-тег feature-extraction; классификатор каталога также отмечает text-generation. Опубликована в форматах PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит языки, на которых формируется текстовый результат, и не описывает показатели качества; назначение, подтверждённое README, — извлечение структуры диаграмм из изображений.

Ovis2-4B — мультимодальная модель семейства Ovis от разработчиков Ovis. Она объединяет визуальный энкодер aimv2-huge-patch14-448 с языковой моделью Qwen2.5-3B-Instruct; архитектура модели — плотная, класс Ovis. Модель принимает изображения и текст, а также обучалась на видео и наборах нескольких изображений, чтобы отвечать на вопросы о визуальных данных и рассуждать по их содержимому. Модель предназначена для диалоговых сценариев: описания изображений, распознавания текста и извлечения структурированных сведений из таблиц и диаграмм, а также анализа нескольких изображений и видео. В карточке заявлены улучшенное пошаговое рассуждение и многоязычный OCR; метаданные указывают английский и китайский языки. Модель доступна в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Разработчики рекомендуют использовать более новую версию Ovis2.5.

vikp/pdf_postprocessor_t5 — модель на базе T5 с архитектурой WeightedT5EncoderForTokenClassification и 364,6 млн параметров. Она предназначена для постобработки Markdown, полученного из PDF: исправляет переносы строк, пробелы и другие артефакты форматирования. Модель используется в Marker для очистки результата извлечения текста из PDF. Репозиторий содержит веса PyTorch и помечен задачей классификации токенов. В карточке не указаны отдельные сведения о поддерживаемых языках или лицензии, поэтому их нельзя уточнить по доступным данным.

PP-OCRv5_mobile_rec_safetensors — мобильная модель распознавания текстовых строк из изображений, разработанная командой PaddleOCR и представленная в формате safetensors. Она предназначена для эффективного распознавания печатного и рукописного текста, включая сложные случаи: вертикальный и искажённый текст, пиньинь, редкие символы и художественные надписи. Модель поддерживает упрощённый и традиционный китайский, английский и японский языки. В README приведены метрики для нескольких типов текста; среднее значение составляет 0,8015 по метрике, где строка считается ошибочной при неверном распознавании хотя бы одного символа. Модель ориентирована на распознавание отдельных строк, поэтому для обработки целых страниц требуется предварительное обнаружение и выделение строк. Лицензия — Apache 2.0.

PP-OCRv6_medium_det — модель обнаружения текстовых областей из семейства PP-OCRv6, разработанного командой PaddleOCR. Она локализует текст на изображениях и предназначена для использования как модуль обнаружения в OCR-конвейере, где распознавание текста выполняет отдельный модуль. Модель использует лёгкую архитектуру с LCNetV4 в качестве backbone и RepLKFPN в качестве шеи детектора, построенную на блоках в стиле MetaFormer со структурной репараметризацией. В ней 15,5 млн параметров. Она рассчитана на печатный и рукописный текст, в том числе повёрнутый, изогнутый и декоративный; семейство PP-OCRv6 поддерживает 48 языков, а метаданные карточки отмечают английский и китайский. Модель подходит для серверных и других сценариев обнаружения текста в документах и промышленных изображениях. Для полного извлечения текста требуется отдельный компонент распознавания. Опубликованные метрики приведены для обнаружения и не гарантируют результат на каждом типе изображения. Лицензия — Apache 2.0.

PP-OCRv6_small_rec_safetensors — модель распознавания текста на изображениях из семейства PP-OCRv6, разработанного PaddlePaddle. Она предназначена для извлечения текста из строк, предварительно выделенных на изображении; в общем OCR-конвейере модуль распознавания может работать вместе с обнаружением текста и дополнительными модулями ориентации и коррекции изображения. Модель использует LCNetV4 в качестве backbone, EncoderWithLightSVTR в распознающем блоке и многоголовочный декодер CTC+NRTR. По README, она содержит 5,2 млн параметров и поддерживает 50 языков. Семейство рассчитано на различные сценарии распознавания, включая печатный и рукописный текст, дисплеи, матричные символы и промышленные изображения. Репозиторий предоставляет веса в формате safetensors; для работы рекомендуется экосистема PaddleOCR. Лицензия — Apache-2.0. Веса описаны как модель распознавания текста, а не полный OCR-конвейер: для поиска текста на исходном изображении могут понадобиться отдельный модуль обнаружения и предварительная обработка.

quinex-quantity-v0-82M — англоязычная модель разметки последовательностей от Jülich Systems Analysis для поиска упоминаний количеств в тексте. Она основана на ClimateBERT (climatebert/distilroberta-base-climate-f), энкодерной модели DistilRoBERTa, и дообучена для выделения чисел и, когда применимо, единиц измерения. В метаданных указаны 95,4 млн параметров, архитектура RobertaForTokenClassification, библиотека Transformers и контекст до 514 токенов; в README размер округлён до 82 млн параметров. Модель подходит для извлечения числовых величин и измерений из научных, новостных и корпоративных текстов, включая материалы о климате. README сообщает о последовательном дообучении на примерах из Wiki-Quantities и нескольких размеченных наборах данных. Для этого чекпойнта заявлены F1 94,56, точность 93,92, полнота 95,21 и accuracy 99,15 на тестовом наборе статьи. Модификаторы количества, например «примерно», «более» или отрицание, не входят в выделяемые спаны; метрики также зависят от неоднозначных вариантов разметки. Лицензия — Apache-2.0.

yeeun2/Qwen3-0.6B-JSON-SFT — компактная языковая модель семейства Qwen3, дообученная методом supervised fine-tuning для генерации ответов в формате JSON. В README разработчик, базовая модель, языки и лицензия не уточнены. Модель предназначена для текстовой генерации и сценариев, где требуется преобразовывать запросы в структурированные JSON-ответы: извлекать поля из текста, классифицировать данные по заданной схеме и формировать машинно обрабатываемые результаты. Она совместима с библиотекой Transformers и распространяется в формате Safetensors. Объём модели составляет 507,9 млн параметров, а native context достигает 40 960 токенов. К сильным сторонам относятся небольшой размер и специализация на структурированном выводе; пригодность для конкретных схем, качество JSON и устойчивость к сложным запросам требуют самостоятельной проверки. В карточке отсутствуют результаты оценки, сведения о тренировочных данных, подробные ограничения и условия лицензирования, поэтому перед использованием в продуктивных и критически важных системах модель следует протестировать.

ReLiK Reader — компонент для извлечения сущностей и отношений из текста, разработанный командой SapienzaNLP. Этот репозиторий содержит веса reader-компонента модели ReLiK, предназначенной для связывания сущностей с записями в базе знаний и извлечения отношений; полный конвейер ReLiK также включает retriever, который подбирает релевантные документы. В карточке указана архитектура RelikReaderREModel и формат PyTorch. Модель ориентирована на английский язык и оценивалась на наборе NYT. Для запуска полного конвейера требуется библиотека relik; лицензия в доступных данных не приведена.

aiola/roberta-base-corener — многоцелевая модель на базе RoBERTa, предназначенная для распознавания именованных сущностей, извлечения отношений, обнаружения упоминаний сущностей и разрешения кореференции. Модель разработала aiola; в карточке описаны совместное обучение задач и правила построения кластеров кореферентных упоминаний. NER и обнаружение упоминаний реализованы как классификация текстовых фрагментов, а извлечение отношений и разрешение кореференции — как классификация пар фрагментов. Модель распознаёт типы сущностей, включая людей, организации, географические объекты, даты, суммы и события, а также отношения вроде «работает в», «живёт в» и «расположено в». Это англоязычная модель на 151,8 млн параметров с контекстом до 514 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. В метаданных Hugging Face основная задача указана как заполнение пропусков (fill-mask), тогда как README описывает извлечение структурированной информации; поэтому поддержка этих прикладных задач в готовом интерфейсе Hugging Face не подтверждена метаданными.

Модель uer/roberta-base-finetuned-cluener2020-chinese — китайская модель распознавания именованных сущностей, дообученная командой UER-py на обучающей части набора CLUENER2020. Она основана на архитектуре BERT и содержит 129,5 млн параметров; принимает текстовые последовательности длиной до 512 токенов и относит токены к меткам сущностей. Подходит для извлечения имен людей, организаций, мест и других сущностей из китайского текста. Модель предназначена для разметки текста и может использоваться как готовая модель классификации токенов либо дообучаться дальше. В карточке также указана поддержка дообучения через TencentPretrain. Доступны версии весов PyTorch, TensorFlow и Flax. Лицензия в предоставленных данных не указана.

Это модель распознавания именованных сущностей в публикациях Twitter, разработанная и опубликованная проектом T-NER. Она дообучена на roberta-base с использованием обучающей части train_2021 набора tner/tweetner7 и предназначена для разметки токенов в англоязычных твитах. Модель выделяет людей, организации, творческие работы, события, группы, географические объекты и продукты; содержит около 151,8 млн параметров и принимает последовательности длиной до 514 токенов. На тестовой выборке 2021 года micro F1 составляет около 0,618, а macro F1 — около 0,570; точность заметно различается по типам сущностей, например F1 для людей составляет около 0,813, а для творческих работ — около 0,380. Для входных текстов нужно учитывать форматирование TweetNER7: имена аккаунтов и URL заменены специальными представлениями. Модель распространяется в формате PyTorch; сведения о лицензии в предоставленных источниках отсутствуют.

SLIMER-PARALLEL-LLaMA3-GGUF — это набор квантизированных версий языковой модели SLIMER-PARALLEL-LLaMA3, разработанной expertai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и задач zero-shot выделения именованных сущностей (NER), включая работу с набором данных Universal-NER/Pile-NER-type. Модель ориентирована на английский язык. В репозитории доступны варианты от исходных весов F16 размером 16,07 ГБ до более компактных форматов Q2–Q8 размером примерно от 3,7 до 8,5 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Указанная архитектурная основа — LLaMA 3; точное число параметров, размер контекста и перечень поддерживаемых модальностей в README не приведены. Для работы рекомендуются llama.cpp и LM Studio, при этом отдельные варианты оптимизированы для ARM-процессоров. Сильной стороной модели является специализация на извлечении сущностей без дополнительного обучения и наличие большого выбора уровней квантизации, включая варианты, ориентированные на высокое качество или ограниченный объём оперативной памяти. Ограничения включают англоязычную направленность, возможное снижение качества в более сильных вариантах квантизации и отсутствие в README подробных результатов оценки. Лицензия указана как llama3.1; условия её применения следует проверять отдельно в документации исходной модели и соответствующей лицензии.

stanfordnlp/stanza-multilingual — пакет моделей Stanza, разработанный Stanford NLP для лингвистического анализа текстов на многих языках. Он обрабатывает текст от базовой языковой обработки до синтаксического анализа и распознавания именованных сущностей; в метаданных Hugging Face основная задача указана как классификация токенов. Модели доступны через библиотеку Stanza и хранятся в формате PyTorch. Репозиторий предназначен для многоязычной обработки естественного языка, включая анализ структуры предложений и выделение сущностей. Лицензия — Apache 2.0. В карточке не приведены сведения о размере моделей и длине контекста.

task-classifier-mini-v3 — компактная модель двоичной классификации текста от Loyola Data Mining, предназначенная для определения, содержит ли фрагмент текста формулировку рабочей задачи. Она основана на BERT-tiny и дообучена на более тщательно отобранных примерах из крупного корпуса вакансий; в метаданных указаны архитектура BertForSequenceClassification, 4,4 млн параметров и контекст до 512 токенов. Модель принимает текст и возвращает один из двух классов с оценкой уверенности: текст является формулировкой задачи или нет. Модель рассчитана на быстрые высокопроизводительные конвейеры фильтрации, например для извлечения обязанностей и задач из объявлений о работе. В README приведена оценка на наборе loyoladatamining/usajobs_validation: accuracy 0,9583 и F1 0,9585 на части данных с задачами; эти результаты относятся к указанной в карточке выборке. Модель распространяется по лицензии MIT.

Это дообученная модель Table Transformer для обнаружения объектов, разработанная на основе nsugianto/tblstructrecog_finetuned_tbltransstrucrecog_semicplx_v1_s1_226s_adjpar6_lr1e6_dec1e5_bs4. В карточке указаны архитектура TableTransformerForObjectDetection, 6,3 млн параметров, формат safetensors и лицензия MIT. Модель предназначена для обнаружения объектов, связанных со структурой таблиц; конкретные классы объектов и обучающие данные не описаны.

Это дообученная модель обнаружения объектов на основе Table Transformer, опубликованная пользователем nsugianto. Она предназначена для распознавания элементов структуры таблиц на изображениях документов; в метаданных указана задача object-detection и архитектура TableTransformerForObjectDetection. Модель содержит 6,3 млн параметров, использует формат safetensors и имеет контекстное окно 1024 токена. Карточка не описывает обучающие данные, качество распознавания, поддерживаемые языки или конкретные классы объектов. Модель распространяется по лицензии MIT. Она может быть полезна как компонент конвейера разбора табличных документов, но её точность и пригодность для конкретных документов следует оценить отдельно.

TinyBERT (4 слоя, размер скрытого представления 312) от автора gagan1985 — дообученная модель huawei-noah/TinyBERT_General_4L_312D для разбора неструктурированных индийских адресов. Она использует архитектуру BERT и классификацию токенов с BIO-разметкой, чтобы извлекать 13 полей, включая номер и название дома, улицу, населённый пункт, район, штат и почтовый индекс. Модель содержит 15,6 млн параметров, принимает текст до 512 токенов и выдаёт структурированные поля; заявленная лицензия — Apache-2.0. Модель рассчитана на автоматическое извлечение компонентов адреса в прикладных системах и на пакетную обработку адресных строк. На тестовом наборе из 228 примеров средняя точность по полям составляет 78,8%, а точное совпадение всех присутствующих полей — 10,1%. Особенно хорошо извлекается PIN-код, но для village и subLocality полнота равна нулю; также есть смысловое пересечение между полями locality, subLocality, subsubLocality и village. Ограничение длины — 512 токенов; регистр букв при классификации не учитывается, хотя исходное написание сохраняется в результатах.

Это компактная англоязычная модель BERT для распознавания именованных сущностей в тексте. Репозиторий sshleifer содержит уменьшенную версию модели dbmdz/bert-large-cased-finetuned-conll03-english, дообученной для разметки сущностей в наборе CoNLL-2003; карточка Hugging Face показывает её применение через pipeline token-classification. Модель принимает текст и присваивает метки отдельным токенам, например выделяет имена людей, организаций и мест. Она использует архитектуру BERT, имеет 58,1 тыс. параметров и поддерживает контекст до 512 токенов; доступны веса PyTorch, TensorFlow и Flax. Модель специализирована на английском NER, поэтому её не следует считать универсальным классификатором или многоязычной моделью. В найденной карточке лицензия не указана.

microsoft/trocr-small-handwritten — компактная модель TrOCR от Microsoft для распознавания рукописного текста на изображениях отдельных строк. Она дообучена на наборе IAM и предназначена для оптического распознавания текста (OCR). Модель использует архитектуру encoder-decoder: Transformer обрабатывает изображение, разбитое на патчи 16×16, а текстовый Transformer авторегрессионно генерирует распознанные токены. Энкодер основан на весах DeiT, декодер — UniLM. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

Модель unerslosnk — дообученная версия XLM-RoBERTa-large для классификации токенов на наборе данных uner_slo_snk. Она предназначена для разметки последовательностей, например извлечения сущностей или других меток на уровне токенов; конкретная схема меток в карточке не описана. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и принимает текст с контекстным окном 514 токенов. В оценке на тестовой выборке указаны F1 0,8425, точность 0,8090, полнота 0,8789 и accuracy 0,9834. Эти значения относятся к конкретному набору данных и не гарантируют аналогичного качества на других текстах. Модель распространяется по лицензии MIT.

Uzbek NER XLM-RoBERTa — модель распознавания именованных сущностей в узбекских текстах, созданная dashakoryakovskaya на основе дообучения FacebookAI/xlm-roberta-large. Она размечает токены по схеме BIO и выделяет организации (ORG), имена (NAME) и географические названия (GEO); предсказания для перекрывающихся окон объединяются по символьным смещениям. Модель построена на архитектуре XLM-RoBERTa large, содержит 658,7 млн параметров и обрабатывает до 514 токенов контекста; для длинных документов используются окна длиной до 512 токенов с шагом 128. Модель рассчитана на узбекские тексты; базовая XLM-RoBERTa мультиязычна, однако карточка не подтверждает качество разметки для других языков. Лицензия в предоставленных данных не указана.

Карточка модели TraiNC/vlm_ocr_lora_5e на Hugging Face совпадает с карточкой TraiNC/vlm_ocr_lora, поэтому описание составлено по ней. TraiNC/vlm_ocr_lora — дообученная TraiNC модель на базе мультимодальной Qwen3.5-0.8B от Unsloth. Она предназначена для задач «изображение-текст», в частности для OCR и извлечения текста с изображений и документов. Архитектура — плотная Qwen3.5 с поддержкой зрения; репозиторий содержит веса Safetensors. Модель рассчитана на англоязычные сценарии. Модель принимает изображения и текстовые запросы, а выдаёт текст. Она может подойти для распознавания текста на изображениях, извлечения полей из документов и прототипирования OCR-процессов. В карточке указаны лицензия Apache-2.0 и дообучение с использованием Unsloth и библиотеки TRL; параметры контекста и результаты оценки качества не приведены.

EvanD/xlm-roberta-base-danish-ner-daner — модель распознавания именованных сущностей на датском языке, разработанная на базе XLM-RoBERTa и дообученная на датском наборе данных DaNe. Она предназначена для разметки токенов в тексте и извлечения сущностей; пример использования показывает поиск имен людей и географических названий. Модель содержит 305,2 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и выдаёт метки для токенов. В README указана макро-F1 0,971 на тестовой выборке DaNe NER; также приведены точность 0,871 и функция потерь 0,114. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.