I.3Извлечение и структурирование данных

Многоязычная модель распознавания именованных сущностей на базе SpanMarker и энкодера xlm-roberta-base. Её разработчик обучил модель на наборе данных MultiNERD; она размечает сущности в тексте, включая людей, организации и места. В README приведены результаты оценки: F1 91,31 по всем языкам, 94,55 для английского и 93,77 для немецкого. Модель предназначена для извлечения сущностей из многоязычных текстов. Автор предупреждает о существенных ограничениях токенизации и рекомендует вместо неё более новую tomaarsen/span-marker-mbert-base-multinerd. Лицензия CC-BY-NC-SA-4.0 разрешает использование на условиях указания авторства и распространения производных материалов на тех же условиях, но некоммерчески.

vikp/surya_det3 — модель обнаружения текстовых строк в составе Surya, разработанная Vik Paruchuri для Surya. Она принимает изображение документа и выделяет расположение строк текста, чтобы передать их на последующие этапы OCR. Модель построена на EfficientViT с архитектурой семантической сегментации EfficientViTForSemanticSegmentation; содержит 38,4 млн параметров и распространяется в формате safetensors с весами F32. Для обучения использована база vikp/line_detector_3; в репозитории указана лицензия CC BY-NC-SA 4.0. Модель предназначена для обнаружения текста в документах и сама по себе не распознаёт и не возвращает текст. Карточка не описывает отдельные языковые ограничения детектора.

Карточка модели yifeihu/TF-ID-base на Hugging Face совпадает с карточкой yifeihu/TF-ID-large, поэтому описание составлено по ней. TF-ID-large — модель компьютерного зрения, разработанная Yifei Hu для поиска таблиц и рисунков на страницах научных статей. Это версия семейства TF-ID с 0,77 млрд параметров, дообученная на контрольных точках Microsoft Florence-2. На вход подаётся изображение одной страницы статьи; модель возвращает рамки объектов и их метки, включая подписи к таблицам и рисункам. Модель предназначена для извлечения структурных элементов научных публикаций и подготовки страниц к дальнейшему разбору или индексации. В проверке на 258 страницах статей вне обучающей выборки корректный результат получен для 253 страниц (98,06%); при этом возможны лишние или дробящие один объект рамки. Репозиторий содержит веса PyTorch в формате Safetensors. Лицензия — MIT.

title_feature — англоязычная модель Loyoladatamining для извлечения атрибутов из названий вакансий. Это дообученная DeBERTa-v3-base с архитектурой DebertaV2ForSequenceClassification, примерно 211,6 млн параметров и контекстом до 512 токенов. Модель выполняет многометочную классификацию последовательностей и может выявлять признаки вроде полной занятости и возможности удалённой работы. Для получения меток README рекомендует применить к логитам сигмоиду и порог уверенности, например 0,98; в примере метки FT и Rem означают полную занятость и удалённую работу. Модель распространяется по лицензии MIT.

Модель создана Liquid AI и представляет собой дообученную для агентных сценариев версию LFM2.5-2.6B — плотной языковой модели семейства LFM2. Она рассчитана на локальное и периферийное развёртывание и поддерживает диалог, вызов инструментов, следование инструкциям и многошаговые агентные задачи. Модель принимает текст и генерирует текст; архитектура включает 30 слоёв, около 2,6 млрд параметров и контекст до 131 072 токенов. Модель подходит для извлечения данных, ответов с опорой на документы и RAG, а также длинных контекстных и агентных рабочих процессов. По данным карточки, её обучали на взаимодействиях в популярных агентных средах; заявлена эффективная локальная инференс-работа. Поддерживаются 17 языков, включая русский, английский, китайский, арабский и хинди. Карточка не рекомендует модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами лицензии репозитория. Доступен формат safetensors для Transformers; в README также упомянуты варианты GGUF и ONNX.

TrOCR base-printed — модель оптического распознавания текста Microsoft, основанная на архитектуре encoder-decoder Transformer. Зрительный энкодер инициализирован весами BEiT, текстовый декодер — весами RoBERTa; модель дообучена на наборе SROIE. Модель предназначена для распознавания текста на изображениях отдельных строк, в том числе для сценариев OCR документов и чеков. Она разбивает изображение на патчи 16×16, кодирует их визуальным Transformer и авторегрессионно генерирует текст токенами. В карточке не приведены сведения о поддерживаемых языках и лицензии. Модель ориентирована на изображения отдельных строк, поэтому может быть неподходящей для распознавания сложной страницы целиком без предварительной обработки.

xusenlin/uie-base — китайская модель для универсального извлечения информации, основанная на подходе UIE, предложенном Яоцзе Лу и соавторами на ACL 2022. По карточке модель обучена PaddleNLP на базе ERNIE 3.0 и объединяет извлечение сущностей, отношений и событий, а также анализ тональности в единой схеме.

UniNER-7B-definition — модель извлечения сущностей и понятий, разработанная авторами UniNER и дообученная на базе LLaMA-7B. Обучающие примеры подготовлены из корпуса Pile-NER-definition с помощью GPT-3.5-turbo-0301: модель училась находить сущности и понятия в отрывках и кратко определять тип каждой найденной единицы, без использования человеческой разметки. Модель предназначена для распознавания именованных сущностей и понятий, в том числе когда тип задан кратким текстовым определением или перефразирован. На вход подаётся текст, а на выходе ожидаются найденные сущности с определениями их типов. Архитектура — плотная LLaMA с 6,6 млрд параметров; длина контекста — 2048 токенов. В метаданных указан английский язык. Авторы отмечают лучшую устойчивость к перефразированию определений типов по сравнению с UniNER-7B-type; при этом версия UniNER-7B-type лучше на стандартных наборах NER с короткими распространёнными метками. Лицензия — CC BY-NC 4.0.

UniNER-7B-type-sup — модель семейства LLaMA, обученная на сочетании синтетических данных Pile-NER-type, созданных ChatGPT, и 40 размеченных наборов данных бенчмарка Universal NER. Из обучающей выборки исключены CrossNER и MIT для оценки обобщения на данные вне обучающего распределения. Модель предназначена для извлечения именованных сущностей и генерации ответов в формате text-generation. Она содержит 6,6 млрд параметров, принимает текст и поддерживает контекст до 2048 токенов. В метаданных указан английский язык. Модель опубликована под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. README отсылает к статье и репозиторию с инструкциями по применению, но не приводит результаты оценки качества.

Unlimited-OCR BF16 MLX — конвертированная в формат BF16 версия мультимодальной модели Baidu Unlimited-OCR, подготовленная для запуска на MLX. Она принимает изображение страницы документа и текстовый запрос, а в ответ распознаёт текст и может представлять структуру документа. В репозитории указаны 559,7 млн параметров и контекстное окно 32 768 токенов; модель построена на архитектуре DeepSeekOCR и доступна в формате safetensors. Модель предназначена для OCR и разбора документов по изображениям, включая локальный запуск на устройствах Apple через MLX. В тесте разработчика на 24 синтетических англоязычных страницах BF16-вариант показал CER 1,62%; эти результаты не характеризуют качество на реальных сканах, рукописном тексте и других письменностях. В MLX-версии не реализован механизм R-SWA базовой модели, поэтому режим обработки длинных документов с постоянным расходом памяти не проверен. Репозиторий распространяется по лицензии MIT; исходная модель создана Baidu.

Unlimited-OCR-Community-FP8-Dynamic — неофициальная общественная FP8-квантизованная версия модели baidu/Unlimited-OCR, разработанной Baidu. Квантизацию выполнила ShadowRock, автор — Matt Busi. Модель предназначена для OCR и структурированного разбора документов по изображениям, включая счета, служебные записки и табличные отчёты, с поддержкой координат областей текста. Это мультимодальная vision-language модель размером 3,34 млрд параметров с MoE-архитектурой в стиле DeepSeek-V2. Она использует визуальный тракт на базе SAM-ViT-B и CLIP-L DeepEncoder с проектором, а также текстовый декодер. Применена схема FP8_DYNAMIC W8A8: веса линейных слоёв текстового декодера квантизованы в FP8, активации масштабируются динамически; визуальный тракт, эмбеддинги, выходная голова, маршрутизаторы MoE и нормализации сохранены в BF16. Заявлена мультиязычность, однако конкретный перечень языков и размер контекста в README не указаны. Основные преимущества версии — уменьшение размера чекпойнта с 6,7 до 3,9 ГБ и поддержка нативного FP8-выполнения на GPU Ada, Hopper и Blackwell. На небольшом наборе синтетических документов результаты жадного OCR совпали с BF16-базой посимвольно: CER составил 0,0 для всех тестовых примеров. Измеренная скорость декодирования — около 39,4 токена в секунду на RTX 5070 Ti с vLLM 0.26.0, что ниже показателя BF16 45,3 токена в секунду. Полноценные гарантии качества на реальных данных, ограничения по разрешению, контексту и языкам README не описывает. Модель распространяется по лицензии MIT. Это community-сборка, не официальный релиз Baidu; изменена числовая точность весов текстового декодера, поэтому совместимость и качество следует проверять в целевой конфигурации. Для запуска указана интеграция с Transformers и vLLM, требуется разрешение удалённого кода.

Карточка модели powerwook/xlm-roberta-base-finetuned-panx-de на Hugging Face совпадает с карточкой creemur/xlm-roberta-base-finetuned-panx-de, поэтому описание составлено по ней. creemur/xlm-roberta-base-finetuned-panx-de — модель токеновой классификации на базе XLM-RoBERTa Base, дообученная для задачи PAN-X на немецком языке. Архитектура — плотная XLM-RoBERTa с головой классификации токенов; размер составляет 305,2 млн параметров, контекст — до 514 токенов. Модель принимает текст и присваивает метки его токенам, что подходит для извлечения сущностей в немецком тексте. В README указана оценка F1 0,8602 и loss 0,1426 на тестовой выборке. Датасет описан как неизвестный, поэтому состав меток и охват доменов по карточке установить нельзя. Модель распространяется по лицензии MIT.

srmjfba/xlm-roberta-base-finetuned-panx-de-fr — модель XLM-RoBERTa, дообученная на задаче классификации токенов. По названию репозитория она предназначена для распознавания именованных сущностей на немецком и французском языках; базовая модель — FacebookAI/xlm-roberta-base. Модель содержит 305,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. В README приведён результат оценки: F1 0,8585 и loss 0,1598, однако датасет указан как None, а описание обучения и ограничения не раскрыты. Модель распространяется по лицензии MIT.

Это модель XLM-RoBERTa-base, дообученная автором creemur для классификации токенов. По названию модели она предназначена для распознавания именованных сущностей на немецком и итальянском языках в рамках задачи PAN-X. Модель построена на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров; базовая модель — FacebookAI/xlm-roberta-base. Максимальная длина контекста составляет 514 токенов. В README указаны результаты оценки: loss 0,2615 и F1 0,8317, но датасет и подробности оценки не раскрыты. Модель распространяется с лицензией MIT.

EvanD/xlm-roberta-base-romanian-ner-ronec — модель распознавания именованных сущностей на румынском языке, созданная на базе XLM-RoBERTa и дообученная на наборе данных RONEC. Она размечает токены в тексте и предназначена для извлечения именованных сущностей. В README указана оценка F1-Macro 0,955 на тестовой выборке RONEC. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa для классификации токенов и работает с текстом; нативный контекст составляет 514 токенов. Метаданные указывают формат PyTorch и поддержку румынского языка. Лицензия в предоставленных данных не указана.

ABB Dual-Head Location Component NER — модель распознавания именованных сущностей, разработанная для структурирования строк с местоположениями из муниципальных решений. Она построена на XLM-RoBERTa base и использует две независимые головы с декодированием CRF: одна размечает токены как компоненты адреса, другая выделяет отдельные локации. Затем компоненты объединяются внутри соответствующих интервалов локаций в структурированный JSON. Модель предназначена для извлечения улиц, дорог, номеров домов и других частей адреса из строк, которые могут содержать несколько местоположений. По README, на отложенной выборке примерно из 10 000 строк муниципальных решений Бельгии совокупная F1 составила 0,9435. Размер модели — 305,2 млн параметров, контекст — 514 токенов; опубликованные веса в формате safetensors. Модель ориентирована на нидерландские (в том числе бельгийские), немецкие, французские и английские строки. Она преимущественно обучена на бельгийских и фламандских данных; точность для немецкого языка может быть ниже на редких типах компонентов, а для зоны DOMAIN_ZONE_AREA указана F1 0,61. Для загрузки требуется класс пользовательской архитектуры. Лицензия — MIT.

Модель MatinAsgarov/applied-nlp-ner-stage3-distilbert — дообученная для распознавания именованных сущностей версия DistilBERT, разработанная в рамках проекта applied-NLP NER. Она выполняет токенную классификацию по схеме BIO и размечает сущности восьми типов: людей, организации, места, даты и время, продукты, произведения искусства, профессии и суммы. Модель принимает текст на английском языке; её контекст ограничен 512 токенами. Веса представлены в формате safetensors, размер модели — около 65,2 млн параметров. На тестовой выборке из 119 записей получен общий F1 0,686; лучшие результаты показаны для сущностей типа PERSON, а PRODUCT и WORKOFART распознаются слабее. Вне обучающего распределения встречаются обрезание многословных сущностей, ложные срабатывания на отдельные стоп-слова и путаница между организациями, местами и продуктами. Лицензия в метаданных указана как unknown.

SinaLab/ArabicWojood-FlatNER — модель SinaLab для распознавания именованных сущностей в арабском тексте с плоской разметкой, то есть без вложенных сущностей. Она основана на архитектуре BERT и предназначена для token classification; в метаданных указаны 162,4 млн параметров и контекст до 512 токенов. Модель ориентирована на современный стандартный арабский и диалекты и связана с корпусом Wojood объёмом 550 тыс. токенов. README сообщает micro-F1 0,883847 для плоского NER. Модель подходит для выделения сущностей в арабских текстах и оценки таких систем. Репозиторий содержит веса PyTorch; лицензия MIT.

Модель kamranibiyev/azNER-xlmr предназначена для распознавания именованных сущностей в азербайджанском тексте. Это XLM-RoBERTa base, дообученная на вручную исправленном корпусе azWikiNER из 16 740 фрагментов Википедии; модель использует архитектуру XLMRobertaForTokenClassification и различает 16 категорий, включая имена людей, организации, географические объекты, события, даты и время, суммы и названия произведений. Контекст ограничен 514 токенами. На тестовой выборке azWikiNER модель показала F1 81,77 для полного набора категорий и 82,81 для 15 общих категорий. Она подходит для извлечения сущностей из азербайджанских текстов, в том числе для обогащения документов и подготовки данных для поиска. Репозиторий содержит веса PyTorch; лицензия — MIT. Качество может быть ниже на жанрах, отличных от Википедии. Оценки для чисел и дат следует трактовать осторожно: эти категории размечались с использованием автоматизированного прохода OntoNotes и правил объединения. Длинные входы обрезаются по лимиту токенизатора; отдельной метки DATE нет, даты относятся к TIME.

CAMeL-Lab разработала CAMeLBERT-DA NER — модель распознавания именованных сущностей на основе BERT, дообученную на диалектном варианте CAMeLBERT-DA с использованием датасета ANERcorp. Она размечает арабский текст по токенам и предназначена для извлечения сущностей в приложениях на базе CAMeL Tools или Transformers. Модель содержит 136,3 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Доступны веса PyTorch и TensorFlow. Карточка указывает лицензию Apache-2.0. Модель рассчитана на арабский язык; качество разметки за пределами описанного сценария и датасета может отличаться.

CAMeLBERT-Mix NER — арабоязычная модель распознавания именованных сущностей от CAMeL Lab, полученная дообучением CAMeLBERT Mix на наборе данных ANERcorp. Она размечает токены в тексте тегами сущностей; использовать её можно через компонент NER библиотеки CAMeL Tools или через Transformers pipeline для классификации токенов. Модель построена на архитектуре BERT и содержит 136,3 млн параметров. Она принимает арабский текст, поддерживает контекст до 512 токенов и выдаёт метки токенов. Репозиторий содержит веса в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache 2.0.

cahya/bert-base-indonesian-NER — модель для распознавания именованных сущностей в индонезийском тексте, опубликованная пользователем cahya на Hugging Face. Это дообученная модель BERT с классификацией токенов; её можно использовать через Transformers для разметки токенов. Модель содержит 137,8 млн параметров и принимает контекст длиной до 512 токенов. Модель предназначена для извлечения упоминаний сущностей из индонезийских текстов, например имён людей и географических названий. В карточке указана лицензия MIT. Доступные сведения не описывают набор меток и качество на конкретных данных, поэтому пригодность для отдельных типов сущностей и текстовых жанров следует оценивать на собственных примерах.

Xenova/bert-base-multilingual-cased-ner-hrl — модель для распознавания именованных сущностей в тексте, доступная в формате ONNX для использования с библиотекой Transformers.js. Она основана на Davlan/bert-base-multilingual-cased-ner-hrl и предназначена для запуска задач token classification, включая выделение сущностей вроде имён людей и географических названий. Модель подходит для веб-приложений и JavaScript-сценариев, где требуется выполнять распознавание сущностей на стороне клиента или в средах, совместимых с ONNX и Transformers.js. В README не указаны точные размеры модели, перечень поддерживаемых языков, длина контекста, набор типов сущностей, показатели качества и лицензия, поэтому эти характеристики нельзя достоверно оценить. Основное преимущество — готовые ONNX-веса и совместимость с Transformers.js; ограничение — отсутствие в предоставленных данных подробностей о языковом покрытии и производительности.

Xenova/bert-base-NER — модель для распознавания именованных сущностей (NER), разработанная на основе dslim/bert-base-NER и адаптированная для работы в Transformers.js. Репозиторий содержит веса в формате ONNX, совместимые с JavaScript-библиотекой Transformers.js, что позволяет применять модель в веб-приложениях и других средах, поддерживающих этот стек. Модель предназначена для token classification: она анализирует текст и выделяет именованные сущности, например имена людей и географические названия. В README приведён пример обработки англоязычной фразы, однако полный набор поддерживаемых языков, размер модели, максимальная длина контекста и перечень типов сущностей не указаны. Ключевое преимущество модели — возможность запуска через Transformers.js с ONNX-весами. При этом сведения о точности, производительности, ограничениях, модальностях и требованиях к ресурсам отсутствуют. Указана лицензия MIT.

dumitrescustefan/bert-base-romanian-ner — модель BERT для распознавания именованных сущностей, созданная дообучением bert-base-romanian-cased-v1. Она размечает румынский текст метками BIO2 и распознаёт 15 типов сущностей: людей, организации, географические объекты, даты и периоды, числа, суммы, события, произведения искусства и другие категории. Модель обучена на корпусе RONEC версии 2.0 и предназначена для извлечения сущностей из румынских текстов, например новостей или документов. Это BERT-модель с 151,6 млн параметров и контекстом до 512 токенов; веса доступны в форматах PyTorch и Safetensors. Для обработки длинных последовательностей и согласования меток с токенами README рекомендует пакет roner. Лицензия — MIT. Модель ориентирована на румынский язык; перед обработкой README рекомендует нормализовать cedilla-варианты букв ș и ț в текст с запятой снизу. При разбиении слов на несколько субтокенов нужно корректно объединять предсказанные метки.

bert-base-swedish-cased-ner — модель семейства BERT, выпущенная Национальной библиотекой Швеции и исследовательской группой KBLab. Это версия bert-base-swedish-cased, дообученная для распознавания именованных сущностей на шведском языке с использованием датасета SUC 3.0. Модель размечает токены как временные выражения, имена людей, места, события и организации; набор меток может меняться. Модель содержит 151,9 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Она чувствительна к регистру, использует токенизацию BERT с разбиением слов на подчасти и обучалась с whole word masking. Подходит для извлечения сущностей из шведских текстов, например новостей и документов. В карточке версия помечена как экспериментальная; описание также отмечает, что набор меток может меняться. Лицензионные условия в предоставленных материалах не указаны.

KBLab/bert-base-swedish-lowermix-reallysimple-ner — модель для распознавания и классификации именованных сущностей в шведском тексте. Она основана на KB-BERT и дообучена на корпусе SUCX 3.0 NER с упрощёнными метками и данными, частично приведёнными к нижнему регистру. Для разметки использована схема без BIO-различения начала и продолжения сущности. Модель построена на архитектуре BERT, содержит около 151,9 млн параметров и обрабатывает последовательности длиной до 512 токенов. Она предназначена для извлечения именованных сущностей из шведских текстов. По карточке указаны форматы PyTorch и Safetensors. Сведения о лицензии отсутствуют в предоставленных материалах.

Это модель для распознавания именованных сущностей в сообщениях Twitter/X, разработанная в рамках проекта T-NER. Она дообучена на bert-base-cased на наборе tner/tweetner7, используя обучающую часть train_all; архитектура — BERT для классификации токенов, размер — 135,5 млн параметров, максимальный контекст — 512 токенов. Модель выделяет семь типов сущностей: организации, произведения творчества, события, группы, локации, людей и продукты. На тестовой выборке 2021 года micro F1 составил 0,623, при этом лучший показатель по классам — для людей (0,820), а самый низкий — для произведений творчества (0,389). Для обработки предусмотрена библиотека T-NER; сообщения следует предварительно привести к формату TweetNER7, включая специальное представление имён аккаунтов и URL. Язык модели — английский. Лицензия в предоставленных данных не указана.

ml6team/bert-base-uncased-city-country-ner — модель на базе BERT, дообученная командой ML6 для распознавания названий городов и стран в предложениях. Она выполняет разметку токенов: каждому фрагменту текста присваивается одна из меток OTHER, CITY или COUNTRY. Модель подходит для извлечения упоминаний городов и стран из англоязычных текстов, например для последующей нормализации географических названий или поиска мест в сообщениях. Она содержит 136,7 млн параметров и рассчитана на контекст до 512 токенов. Дообучение выполнено на пользовательском наборе данных, созданном с помощью слабой разметки Ultra-Fine Entity Typing и дополнительной очистки ложных меток. Модель принимает текст и возвращает метки токенов. Карточка описывает распознавание только городов и стран; качество для других типов сущностей и языков не заявлено. Лицензия в предоставленных данных не указана.

Модель Portuguese NER BERT-CRF HAREM Default — дообученная модель на основе BERT для распознавания именованных сущностей в португальском тексте. Она использует декодер Conditional Random Fields (CRF) и схему разметки HAREM Default; также доступны варианты схем HAREM Selective и CoNLL-2003. Модель предназначена для извлечения и классификации именованных сущностей в тексте. Её можно применять через pipeline для NER в библиотеке Transformers или интегрировать в экосистему Hugging Face. В README приведён результат F1 0,787 на Miniharem Testset. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Результат на тестовом наборе не гарантирует аналогичного качества на других данных; качество может зависеть от соответствия текста и схемы разметки HAREM.