I.3Извлечение и структурирование данных

Модель cvalenciaunivalle/bilstm-crf-fasttext-conll-bs32 — пользовательская модель распознавания именованных сущностей, разработанная Лаурой Валеро и Кристианом Валенсией для учебного проекта по обработке естественного языка в магистратуре Univalle. Она обучена на испанской части CoNLL-2002 и предназначена для разметки токенов испанского текста сущностями. Архитектура включает двунаправленную LSTM с размером скрытого состояния 200, эмбеддинги FastText размерности 300 для испанского языка, dropout 0,3 и выходной CRF. На тестовой выборке CoNLL-2002 указаны F1 0,7926, точность 0,7988 и полнота 0,7865. Репозиторий использует пользовательский код с trust_remote_code=True; лицензия CC BY-NC-SA 4.0 требует указания авторства и ограничивает коммерческое использование.

vishnun/codenlbert-sm — компактная модель классификации текста на основе BERT, дообученная разработчиком для различения кода и естественного языка. Она рассчитана на классификацию входного текста как кода или обычного языка, например при анализе смешанных текстовых данных. Модель содержит 32,4 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. В карточке приведены метрики обучения на трёх эпохах, включая точность около 99,7%; эти значения относятся к указанной разработчиком оценке и не гарантируют такой же результат на других данных. Для модели указаны английский язык и набор данных CodevsNL. Условия лицензирования в предоставленных материалах не описаны.

Hukyl/dfine-egret-x-rukopys — модель обнаружения объектов для анализа рукописных украинских страниц. Она разработана Hukyl на основе D-FINE-X и дообучена на размеченном наборе Rukopys; архитектура включает backbone HGNetV2 и декодер в стиле RT-DETR. Модель содержит около 62,7 млн параметров и распознаёт семь типов областей: рукописный и печатный текст, формулы, таблицы, аннотации, изображения и графики. Модель предназначена для поиска и классификации областей документа перед передачей распознавателям текста или формул. На отложенной выборке из 133 страниц mAP@50 составила 0,6704, а mAP@50–95 — 0,4441; качество заметно различается между классами. Модель обучали и оценивали при размере изображения 640×640; результаты для документов иных типов не проверялись. Слабыми классами являются аннотации и изображения, а малое число примеров некоторых категорий делает их метрики нестабильными. Веса распространяются по лицензии Apache-2.0; обучающие данные Rukopys указаны с лицензией CC BY 4.0.

Модель Chandana Nuthangi на базе DistilBERT дообучена для распознавания именованных сущностей в текстах на телугу. Она выполняет токенную классификацию по BIO-схеме с семью метками: для персон, организаций и местоположений. Модель содержит 66 млн параметров, использует архитектуру DistilBERT и принимает контекст длиной до 512 токенов. Модель предназначена для извлечения имен людей, организаций и мест из текстов на телугу, например для индексирования новостей или подготовки данных для поиска. На тестовом наборе Naamapadam из 847 предложений автор сообщает F1 0,7803. Обучение проводилось на 50 тысячах предложений Naamapadam; данные набора автоматически спроецированы с английских новостей. Модель распространяется по лицензии MIT. Она может пропускать сущности из недостаточно представленных тематик, в частности технологий и космической отрасли; результат также зависит от домена текста.

DistilCamemBERT-NER — модель распознавания именованных сущностей на французском языке, разработанная на базе cmarkea/distilcamembert-base и дообученная для классификации токенов. Она выделяет в тексте имена людей, географические названия, организации и сущности категории MISC, например названия книг и фильмов. Для обучения использован датасет wikiner_fr примерно из 170 тысяч размеченных предложений. Модель содержит 81,2 млн параметров и имеет контекст длиной до 514 токенов. В опубликованной оценке общий F1 составил 98,18%; авторы также сообщают об уменьшении времени инференса примерно вдвое по сравнению с CamemBERT при сопоставимом энергопотреблении. В тесте на процессоре AMD Ryzen 5 4500U указано среднее время 43,44 мс; результаты зависят от оборудования и способа запуска. Модель подходит для извлечения сущностей из французских текстов, например при индексации документов и подготовке данных для последующего анализа. Она рассчитана на французский язык и конкретные категории разметки, поэтому результаты на других языках и для иных типов сущностей не подтверждены. Лицензия — MIT.

Docopilot-2B — мультимодальная модель OpenGVLab для понимания документов на уровне целых страниц, представленная в статье «Docopilot: Improving Multimodal Models for Document-Level Understanding». Она принимает изображения документов и текстовые запросы и формирует текстовые ответы в диалоговом режиме; архитектура — InternVLChatModel, формат весов — safetensors. Модель предназначена для вопросов и задач, требующих анализа содержимого документа целиком. В карточке указана лицензия MIT. В доступных сведениях нет подробностей о размере контекста, поддерживаемых языках и конкретных оценках качества.

Модель Donut, дообученная на счетах-фактурах. Она принимает изображение документа и генерирует текст с типом документа и извлечёнными полями: валютой, датой, общей и налоговой суммами, номером счёта, номером заказа и страной кредитора. Для документов другого типа поле типа документа получает значение Other. Архитектура vision encoder-decoder объединяет визуальный энкодер Swin Transformer и текстовый декодер BART. Модель обучалась на нескольких тысячах размеченных счетов и документов других типов из разных стран и на разных языках; обучающая выборка содержала только одностраничные документы. Для обработки задано разрешение 1280×1920 пикселей. Модель предназначена для экспериментов с извлечением данных из многоязычных счетов. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные материалы на тех же условиях с ограничением на коммерческое использование. Набор данных закрытый, а заявленное обучение на счетах не гарантирует точность для конкретных языков, форматов или качества сканов.

Модель NAMAA Community — плоский базовый чекпойнт для распознавания именованных сущностей на арабском языке. Она дообучена для KnowledgeGraphEval 2026 на базе aubmindlab/bert-base-arabertv02: используется архитектура BERT с классификатором токенов, 162,4 млн параметров и контекстом до 512 токенов. Модель размечает токены по 21 типу сущностей в схеме BIO и предназначена для обычного конвейера token-classification. Основные сценарии — извлечение сущностей из арабских текстов и воспроизведение сравнения плоской и вложенной разметки Wojood. На валидации Wojood указана строгая micro-F1 0,9003, на кросс-доменной выборке Konooz — 0,69. Чекпойнт не представляет вложенные или пересекающиеся упоминания, а отсутствие класса I-UNIT не позволяет предсказывать многотокенные сущности UNIT. Для практического применения README рекомендует вложенную версию модели. Модель опубликована под лицензией Apache-2.0. Она рассчитана на арабский язык; для решений с существенными последствиями, касающихся людей или организаций, требуется проверка человеком.

MuXodious выпустил статические квантизованные GGUF-сборки Gemma 4 26B A4B Instruct, дообученной с помощью Heretic 1.2.0 и Arbitrary-Rank Ablation. Это диалоговая мультимодальная модель семейства Gemma 4 с архитектурой Mixture-of-Experts; в этой версии доступны текстовый и визуальный ввод и текстовый вывод. В репозитории есть GGUF и GGUF BF16. Шаблон чата обновлён с исправленной версией от Google. Модель предназначена для диалога, рассуждений и анализа изображений, включая извлечение информации из документов, OCR, понимание диаграмм и интерфейсов. README семейства Gemma 4 также описывает генерацию и редактирование кода, суммаризацию, поддержку длинного контекста до 256K токенов и мультиязычность; эти свойства приведены для семейства и отдельно не подтверждены для данной сборки. Ablation заметно уменьшила отказы: в приведённой проверке их стало 3 из 104 против исходных 103 из 104. Модель распространяется под лицензией Apache 2.0. Из-за ablation-процедуры она может отказывать реже, поэтому ответы на потенциально рискованные запросы требуют проверки; результаты теста отказов не гарантируют поведение в других сценариях. Для запуска GGUF требуется совместимый движок и корректный шаблон чата.

GLiNER2-base-v1-RAMS — модель извлечения информации, дообученная на базе fastino/gliner2-base-v1 для выделения событий в тексте. Она извлекает тип события, триггер и типизированные аргументы; обучающий набор RAMS включает 139 типов событий и 65 ролей аргументов и предназначен для англоязычного многопредложного текста. В README также заявлены задачи извлечения сущностей и отношений, а метаданные относят модель к token classification. На отложенной тестовой выборке F1 для определения типа события составил 0,993, для триггера — 0,935–0,937, а для аргументов — 0,462–0,686 в зависимости от строгой или мягкой оценки. Результат по аргументам заметно ниже, поэтому извлечённые роли могут требовать проверки. Модель опубликована в формате safetensors и использует библиотеку gliner2. Лицензия указана как other; условия лицензии в предоставленных данных не раскрыты.

GLiNER2 Large v1 DocEE — модель извлечения информации на основе GLiNER2, дообученная whr778 на базе fastino/gliner2-large-v1 для извлечения событий из документов. Она предназначена для определения событий, связанных с ними сущностей и ролей, а также для классификации документов. Модель обучалась на англоязычном наборе DocEE: 21 966 обучающих записей, 2 748 примеров для валидации и 2 771 для тестирования. Модель использует библиотеку gliner2 и поставляется в формате safetensors. На слепом тесте F1 классификации составил 0,994–0,997 в зависимости от строгости оценки; для извлечения сущностей F1 составил 0,360 в строгом и 0,569 в более мягком режиме. В README не указаны размер модели и длина контекста. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой модели и источником данных DocEE.

GLiNER-PII Edge v1.0 — компактная модель распознавания именованных сущностей, разработанная Wordcab совместно с Knowledgator. Она принимает текст и заданный пользователем список типов сущностей, а затем находит соответствующие фрагменты текста; модель настроена для выявления более 60 категорий персональных, медицинских и платёжных данных и поддерживает обнаружение пользовательских типов без переобучения. Её предназначение — локальная обработка чувствительных данных в документах, расшифровках и журналах, в том числе на устройствах с ограниченными ресурсами. Модель основана на двунаправленном трансформере GLiNER и доступна в форматах PyTorch и ONNX; для ONNX указаны варианты FP16 и UINT8. В оценке на синтетическом наборе synthetic-multi-pii-ner-v1 она получила F1 75,50%; README отмечает, что Edge-вариант рассчитан на меньшую задержку и размер модели по сравнению с более крупной версией, с некоторым снижением полноты обнаружения. Лицензия — Apache-2.0.

GPT-4 Turbo — мультимодальная модель OpenAI с поддержкой зрения. Она предназначена для диалогов и задач, где нужно анализировать изображения вместе с текстовыми запросами. Для запросов с изображениями поддерживаются JSON mode и вызов функций. В README указано, что обучающие данные охватывают период до декабря 2023 года. Размер модели, длина контекста и условия лицензии в предоставленных материалах не описаны.

gyr66-bert-base-chinese-finetuned-ner-onnx — это ONNX-конверсия модели gyr66/bert-base-chinese-finetuned-ner, выполненная проектом ProtectAI с использованием библиотеки Hugging Face Optimum. Модель предназначена для задачи token classification, в частности для распознавания именованных сущностей в китайском тексте. Модель работает с китайским языком и основана на архитектуре BERT; точный размер и параметры в предоставленных данных не указаны. Формат ONNX может быть удобен для развертывания и выполнения инференса в совместимых оптимизированных средах. При этом проект архивирован и больше не развивается и не поддерживается. Модель распространяется по лицензии Apache-2.0.

Healthcare Brain NER — модель распознавания именованных сущностей от Genzeon Platforms для обнаружения и обезличивания защищённой медицинской информации (PHI) и персональных данных (PII) в клиническом тексте. Это BERT-модель для классификации токенов на основе Bio_ClinicalBERT, дообученная с BIO-разметкой; README также упоминает постобработку по правилам. В метаданных указаны архитектура BertForTokenClassification, 135,5 млн параметров и контекст 512 токенов. Модель предназначена для поиска 20 типов чувствительных сущностей в медицинских записях, выписках, направлениях и других неструктурированных клинических документах. Её можно применять для подготовки текстов к повторному использованию, исследованиям и последующим NLP-процессам с учётом конфиденциальности. README приводит метрики на тестовых данных, но отмечает, что обучение преимущественно опирается на синтетические шаблонные данные, поэтому качество на разнообразной реальной документации может отличаться. Модель рассчитана на английский язык. Для документов длиннее 512 токенов рекомендуется обработка фрагментами с перекрытием, а для критичных процессов — проверка результатов специалистом. Лицензия — Apache-2.0.

SZTAKI-HLT/hubert-base-cc — регистрозависимая модель BERT для венгерского языка, разработанная группой SZTAKI-HLT. Она обучена на отфильтрованной и очищенной от дубликатов венгерской части Common Crawl и снимке венгерской Википедии. Модель содержит 137,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch, TensorFlow и Flax; лицензия — Apache-2.0. Модель предназначена для использования как базовый венгерский BERT, в том числе для дообучения под разметку последовательностей. В карточке приведены результаты для chunking и распознавания именованных сущностей: после дообучения модель превзошла multilingual BERT и показала высокие результаты на этих задачах. В README уточняется, что описание обучения опирается на диссертацию, содержащую предварительные результаты по подкорпусу Википедии.

IcelandicNER BERT — модель на архитектуре BERT, дообученная на корпусе MIM-GOLD-NER для распознавания именованных сущностей в текстах на исландском языке. Она размечает токены и выделяет восемь типов сущностей: даты, места, прочие сущности, денежные суммы, организации, проценты, персон и время. Модель содержит 205,1 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены оценки precision, recall и F1 по категориям; для дат указана F1 0,974, для мест — 0,954, для прочих сущностей — 0,855. Модель можно применять через Transformers pipeline для NER. Лицензия — Apache-2.0.

IndicBERT-v3-1B — многоязычная двунаправленная языковая модель AI4Bharat на архитектуре Gemma-3, дообученная на основе google/gemma-3-1b-it. Она предназначена для задач с архитектурой энкодера, в частности для классификации токенов. Модель обучена методом Masked Next Token Prediction (MNTP), при котором целевой токен предсказывается по состоянию предыдущей позиции; при дообучении важно учитывать этот сдвиг в подготовке данных. Обучение продолжалось на примерно 35 млрд токенов с последовательностями длиной до 4096. Модель адаптирована к английскому и индийским языкам, включая хинди, тамильский, телугу, бенгальский, урду и ряд низкоресурсных языков. Веса доступны в формате safetensors, лицензия — MIT. Карточка описывает сильные результаты во внутренних тестах, но не приводит подробных оценок; версии для эмбеддингов и поиска в README обозначены как планируемые.

korean_PP-OCRv3_mobile_rec — разработанная командой PaddleOCR мобильная модель распознавания строк текста из изображений, относящаяся к серии PP-OCRv3_rec и обученная на основе PP-OCRv3_mobile_rec для распознавания корейского языка. Она принимает изображение строки и преобразует содержащийся в нём текст в строку символов; модель можно подключить как модуль распознавания в конвейере OCR PaddleOCR для извлечения текста из документов и других изображений. Модель предназначена для распознавания корейского текста, включая пунктуацию. В README указано, что строка считается распознанной неверно, если ошибочен хотя бы один символ, что отражает строгое измерение точности на уровне целой строки. Для использования заявлена лицензия Apache-2.0. Размер модели и длина контекста не указаны в предоставленных источниках.

hmart824/layoutlmv3-finetuned_0.1 — дообученная версия hmart824/layoutlmv3-finetuned для классификации токенов с использованием архитектуры LayoutLMv3. Модель содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. Карточка сообщает значение Loss 0,4995 на оценочном наборе, но не описывает набор данных, метки или методику оценки. Модель предназначена для задач разметки токенов в документах. LayoutLMv3 относится к архитектурам для работы с текстом и визуальной структурой документов, однако сведения карточки не позволяют подтвердить конкретный сценарий или набор входных данных этой версии. Лицензия CC BY-NC-SA 4.0 разрешает использование на её условиях, включая ограничения на коммерческое применение и требования к распространению производных работ.

Ertas AI предлагает настраиваемую версию LFM2.5-230M от Liquid AI — компактной плотной языковой модели с 221,2 млн параметров для генерации текста. Модель дообучена на пользовательских данных с помощью Ertas AI; она принимает текст и поддерживает чатовый формат и вызов инструментов. В карточке указаны 14 слоёв: 8 блоков LIV с двойными воротами и 6 блоков GQA. Метаданные указывают контекст до 128 000 токенов, а README — 32 768 токенов. Модель предназначена для извлечения данных и лёгких агентных сценариев на устройствах с ограниченными ресурсами. Она поддерживает английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский и испанский языки. Небольшой размер и быстрая генерация подходят для локального запуска, однако модель не рекомендуется для сложных рассуждений, продвинутой математики, генерации кода и творческого письма. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

philschmid/lilt-en-funsd — модель на архитектуре LiLT, дообученная на наборе funsd-layoutlmv3 для классификации токенов в англоязычных формах. Она предназначена для извлечения и разметки элементов документов с учётом их текстового и пространственного расположения, например вопросов, ответов и заголовков. Модель содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате PyTorch. В оценке на наборе данных указаны общий F1 0,890 и точность 0,8204; результаты различаются по классам: F1 для вопросов — 0,918, ответов — 0,894, заголовков — 0,591. Лицензия — MIT. Карточка описывает дообучение для конкретного набора данных, поэтому качество на других типах документов может отличаться.

LLIMONIIE — дообученная leopiano98 языковая модель для извлечения информации на итальянском языке. Она выполняет распознавание именованных сущностей без заранее заданной онтологии, извлечение отношений и совместное извлечение сущностей и отношений из текста в разных предметных областях. Модель основана на unsloth/llama-3-8b-instruct-bnb-4bit и использует архитектуру Llama для генерации текста. В репозитории указаны 7,5 млрд параметров, контекст до 8192 токенов и формат весов safetensors. Модель рассчитана на текстовый ввод и выдаёт результаты извлечения в текстовом виде. Лицензия — Apache-2.0. Карточка не приводит результатов оценок качества, поэтому надёжность извлечения для конкретного домена следует проверять на собственных данных.

Mizuiro-sakura/luke-japanese-base-finetuned-ner — японская модель распознавания именованных сущностей, созданная дообучением luke-japanese-base на японском датасете NER на основе Википедии. Она предназначена для извлечения из текста имен людей, событий и других сущностей; карточка приводит метрики precision, recall и F1 для нескольких категорий сущностей. Модель построена на архитектуре LUKE для классификации токенов, содержит 138,4 млн параметров и поддерживает контекст до 514 токенов. LUKE учитывает слова и сущности как отдельные токены и использует механизм внимания, учитывающий сущности. Для использования указаны Transformers и SentencePiece. Лицензия — MIT.

MatCha — модель на архитектуре Pix2Struct, разработанная Fangyu Liu, Francesco Piccinno и коллегами и дообученная на наборе PlotQA-v1. Она предназначена для ответов на вопросы по графикам и диаграммам: принимает изображение и текстовый вопрос, а ответ формулирует текстом. В основе MatCha — предварительное обучение для математических рассуждений и восстановления структуры графиков; опубликованные авторами результаты показывают улучшение на тестах PlotQA и ChartQA. Модель подходит для извлечения сведений и численных значений из графиков по запросу на естественном языке. Метаданные указывают поддержку английского, французского, румынского и немецкого языков. Веса доступны в формате PyTorch; лицензия — Apache-2.0.

ytu-ce-cosmos/modernbert-tr-pii-ner — турецкая модель распознавания персональных данных, разработанная на базе ModernBERT-TR. Это плотный энкодер ModernBERT с 148,7 млн параметров, дообученный для классификации токенов: модель определяет сущности 25 типов, ориентированных на требования KVKK, используя 51 BIO-метку. Максимальная длина контекста — 8192 токена; доступны веса Safetensors и формат ONNX. Модель предназначена для поиска и разметки персональных данных в турецких документах, в том числе судебных текстах, PDF и тексте с ошибками OCR. На тестовой выборке из 300 документов опубликован результат 81,01% overlap micro-F2 для выпущенного чекпойнта. Квантизированная версия int8 показывает 71,90% по той же метрике. Модель дообучена на смеси турецких веб-PDF, обезличенных решений высших судов и синтетических документов, включая тексты с ухудшенным OCR. Лицензия — Apache-2.0. Показатель качества относится к указанному тестовому набору; для иных источников документов точность может отличаться.

MichaelHuang/muril_base_cased_hindi_ner — модель для распознавания именованных сущностей в текстах на хинди. Она дообучена для NER на базе google/muril-base-cased — BERT-модели, предварительно обученной на 17 индийских языках и их транслитерированных вариантах. Для обучения использован датасет HiNER. Модель содержит 264,8 млн параметров, принимает текст с контекстом до 512 токенов и присваивает метки отдельным токенам. В README приведены результаты оценки: F1 0,88, точность 0,87 и полнота 0,89. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Оценки качества относятся к указанному набору данных; переносимость на другие домены и варианты написания не описана.

Muse2-230M — компактная авторегрессионная языковая модель Muse Research, дообученная на основе Muse2-230M-Base. Она предназначена для диалогового помощника, форматирования ответов и извлечения структурированных данных, например преобразования журналов разработчиков в JSON, а также для запуска на устройствах с ограниченными ресурсами и дальнейшей тонкой настройки. Модель содержит 221,2 млн параметров и использует плотную гибридную архитектуру Muse2: блоки коротких причинных свёрток чередуются с полным вниманием, применяются grouped-query attention и объединённый SwiGLU MLP. Вход и выход — текст; основной язык — английский, также модель обрабатывает программный код и математические тексты. Контекст в карточке указан как 128 000 токенов, хотя README уточняет, что стандартная длина составляет 8 000 токенов, а 128 000 — максимум. Модель обучена методом supervised fine-tuning с маскированием функции потерь только на ответах; RLHF и DPO не применялись. Качественная и безопасностная проверка ограничена, поэтому модель может галлюцинировать, повторяться или выдавать смещённые и нежелательные ответы. Разработчик не рекомендует полагаться на неё в критичных, медицинских, юридических или иных фактически значимых сценариях без оценки и защитных мер. Веса доступны по лицензии Apache-2.0.

Narwhal-7b-v3 — языковая модель Vezora, созданная слиянием методом Tie на основе OpenChat 3.5 и una-cybertron-7b-v2-bf16. Это плотная causal language model семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и, по карточке, особенно хорошо подходит для автоматической разметки данных: она может присваивать предложениям метки тональности и возвращать результат в JSON. Её можно применять для предварительной разметки текстовых корпусов, классификации тональности по предложениям и подготовки структурированных обучающих данных с последующей проверкой человеком. README приводит пример на английском языке; метаданные не задают список поддерживаемых языков. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Заявление о качестве в карточке не сопровождается оценками или сравнительными тестами, поэтому точность разметки следует проверять на целевых данных.

Venkatesh4342/NER-Indian-xlm-roberta — модель XLM-RoBERTa, дообученная для распознавания именованных сущностей в индийском контексте. Она выполняет разметку токенов и помогает выделять сущности в тексте. По карточке модели, на оценочном наборе получены loss 0,1404 и F1 0,8130; для токенизации используется SentencePiece. Модель содержит 305,2 млн параметров, принимает последовательности длиной до 514 токенов и распространяется по лицензии MIT. Для лучшей работы автор рекомендует подавать предложения с корректной пунктуацией, разделителями и капитализацией. Датасет и подробные ограничения в карточке не описаны, поэтому качество на иных типах текста не установлено.