I.3Извлечение и структурирование данных

Модель shingo1234/xlm-roberta-base-finetuned-panx-de — версия XLM-RoBERTa-base, дообученная для классификации токенов. По названию модели она предназначена для немецкого набора PAN-X; README сообщает F1 0,8602 и loss 0,1426 на оценочной выборке, но не описывает метки и состав данных. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и принимает текст с контекстом до 514 токенов. Подходит для разметки последовательностей на уровне токенов, например распознавания именованных сущностей в немецком тексте. Опубликована в формате safetensors; библиотека для работы — Transformers. Лицензия MIT.

XLM-RoBERTa base, дообученная командой TNER для распознавания именованных сущностей (NER) в арабском варианте набора PAN-X. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa для классификации токенов и принимает текст; максимальная длина контекста — 514 токенов. Модель предназначена для выделения и разметки сущностей в арабском тексте, например имён людей, организаций и географических названий. Для загрузки токенизатора в README приведён идентификатор asahi417/tner-xlm-roberta-base-panx-dataset-ar. Лицензия в предоставленных данных не указана.

FacebookAI публикует эту модель на основе XLM-RoBERTa-large — многоязычного трансформера для обработки текста. Модель дообучена на немецкой части датасета CoNLL-2003 для классификации токенов: каждому токену присваивается метка. Основной сценарий применения — распознавание именованных сущностей в немецком тексте; также модель подходит для разметки частей речи. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и принимает текст с контекстом до 514 токенов. Базовая XLM-RoBERTa обучалась на 100 языках, но эта версия дообучена на немецком наборе данных, поэтому её специализированные возможности относятся прежде всего к немецкому. Доступны веса PyTorch и ONNX. В карточке лицензия не определена. Модель может наследовать смещения обучающих данных, поэтому результаты следует проверять перед применением.

Модель yeshpanovrustem/xlm-roberta-large-kaznerd — модель распознавания именованных сущностей на казахском языке, разработанная на основе XLM-RoBERTa Large. Она дообучена в течение трёх эпох на наборе данных KazNERD и предназначена для разметки сущностей в тексте с помощью Transformers pipeline для NER. В метаданных указаны архитектура XLM-RoBERTa для классификации токенов, 658,7 млн параметров и контекст до 514 токенов. На тестовой выборке автор сообщает precision 96,49%, recall 96,86% и F1 96,67%; показатели отдельных классов различаются, например, F1 для ADAGE составляет 41,67%. Модель распространяется под лицензией CC BY 4.0. Она предназначена для распознавания сущностей на казахском языке; приведённые метрики относятся к указанному датасету и не гарантируют такое же качество на текстах других жанров.

newreyy/xlm-roberta-ner-v2 — дообученная на распознавании именованных сущностей модель XLM-RoBERTa-Base, разработанная для анализа неформальных публикаций и комментариев в социальных сетях. Она выполняет классификацию токенов и размечает сущности в текстах на индонезийском и английском языках, включая людей, организации, географические объекты и другие категории из заданного набора меток. Модель подходит для фильтрации публикаций, помощи в модерации, мониторинга политических тем и отслеживания упоминаний брендов и организаций. Архитектура — XLM-RoBERTa с 305,2 млн параметров; максимальная длина контекста — 514 токенов. В README приведена оценка на валидационном наборе: micro-F1 0,8387. Качество может снижаться на смешанных языках, при обилии сленга, сарказма, коротких или неоднозначных сообщениях; модель не предназначена для формальных академических и юридических текстов. Она может наследовать смещения обучающих данных, поэтому результаты для модерации и других чувствительных сценариев следует проверять человеком. Лицензия — Apache-2.0.

YAYI-UIE — плотная авторегрессионная языковая модель семейства YAYI UIE, разработанная командой YAYI и опубликованная wenge-research. Модель содержит 13,3 млрд параметров и дообучена инструктивно на миллионах искусственно созданных высококачественных примеров для унифицированного извлечения информации: распознавания именованных сущностей, извлечения отношений и извлечения событий. Модель предназначена для преобразования текста в структурированные результаты, например JSON с сущностями, отношениями или аргументами событий. В карточке описаны сценарии из общих и специализированных областей, включая финансы, биологию, медицину, бизнес, транспорт, промышленность и науку. README приводит примеры оценки на китайских и английских наборах данных; основной акцент модели — китайский язык. Указаны ограничения: извлечённые сведения могут содержать фактические ошибки, модель слабо распознаёт вредоносные инструкции, а качество на длинных текстах уровня абзаца требует улучшения. Лицензия в метаданных и карточке — Apache-2.0, однако README отдельно требует использовать модель и производные только в исследовательских целях и запрещает коммерческое и вредоносное применение.

Модель masakhane/afroxlmr-large-ner-masakhaner-1.0_2.0 — это версия AfroXLM-R Large, дообученная Masakhane для распознавания именованных сущностей в 21 африканском языке. Она использует архитектуру XLM-RoBERTa для классификации токенов, содержит 658,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель выделяет людей, организации, местоположения, даты и время, а также токены вне сущностей. Модель предназначена для разметки текстов, в частности новостных статей, на языках Африки. На тестовых наборах MasakhaNER средний F-score составил 85,1 для версии 1.0 и 87,7 для версии 2.0. Лицензия — AFL-3.0. Качество может снижаться на текстах из других областей и за пределами тематики и периода новостных данных, использованных для обучения.

wietsedv/bert-base-dutch-cased-finetuned-conll2002-ner — модель на архитектуре BERT для классификации токенов, разработанная пользователем wietsedv и дообученная для распознавания именованных сущностей в нидерландском тексте на датасете CoNLL-2002. Базовая модель BERTje представляет собой нидерландский BERT, разработанный исследователями Университета Гронингена. Модель предназначена для NER-задач: выделения и классификации сущностей в тексте, например персон, организаций и географических объектов, в соответствии с разметкой CoNLL-2002. Она работает через pipeline token-classification в Transformers, поддерживает PyTorch и JAX, содержит около 136,3 млн параметров и обрабатывает последовательности длиной до 512 токенов. Сильная сторона модели — специализация на нидерландском языке и задаче извлечения сущностей. Она не является генеративной моделью и не предназначена для свободной генерации текста, перевода или многоязычного распознавания сущностей; качество может снижаться на текстах, существенно отличающихся от данных CoNLL-2002.

Модель saribasmetehan/bert-base-turkish-uncased-ner — дообученная версия dbmdz/bert-base-turkish-uncased для распознавания именованных сущностей в турецком тексте. Она основана на BERT и содержит 137,8 млн параметров; максимальная длина контекста — 512 токенов. Модель обучена на 18 967 примерах из турецкой Википедии и проверена на 1 000 примерах. Модель размечает сущности 19 типов, включая людей, организации, места, даты, события, денежные суммы, законы и произведения искусства. В README приведён результат F1 0,7821 на наборе оценки. Она рассчитана на извлечение сущностей из турецких текстов; MIT-лицензия разрешает использование и распространение в соответствии с её условиями.

bert-chunker-Chinese-2 — китайский сегментатор документов на базе BERT, созданный авторами проекта bc-chinese. Модель с архитектурой BertForTokenClassification размечает начальные токены фрагментов, а скользящее окно позволяет нарезать документы произвольной длины на части для последующей работы, например, в RAG-системах. Авторы позиционируют её как альтернативу семантическому чанкеру, рассчитанную в том числе на неструктурированные и плохо подготовленные тексты. В экспериментальном скрипте можно задать максимальное число токенов в одном фрагменте. Модель содержит 27,6 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Карточка указывает английский и китайский языки. Репозиторий распространяется в формате safetensors по лицензии MIT. README описывает обновлённый вариант с изменённой разметкой данных и процессом обучения, но не называет базовую модель.

Модель Jorgeutd/bert-large-uncased-finetuned-ner — англоязычная модель распознавания именованных сущностей, созданная дообучением Google BERT Large Uncased на наборе CoNLL-2003. Это трансформер BERT с архитектурой BertForTokenClassification, примерно 433,9 млн параметров и контекстом до 512 токенов. Модель принимает текст и присваивает метки токенам, позволяя выделять сущности в тексте; для запуска доступен конвейер NER в Transformers. На тестовой выборке CoNLL-2003 указаны F1 0,954, точность 0,9505 и полнота 0,9575. Модель рассчитана на англоязычные новостные тексты, сходные с обучающими данными; в других предметных областях и временных периодах качество может снижаться. Иногда сущностями помечаются части слов, поэтому результатам может потребоваться постобработка. Лицензия Apache-2.0.

nxaliao/bert-lg-cased-ms-ner-full — модель для разметки последовательностей, созданная дообучением google-bert/bert-large-cased. Она предназначена для token classification; название репозитория указывает на распознавание именованных сущностей, однако карточка не описывает набор меток или обучающие данные. Модель содержит 432,3 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. Модель подходит для извлечения сущностей из текста и других задач токенной классификации. Карточка не сообщает, какие языки и типы сущностей она поддерживает, и не приводит результатов оценки. Распространяется по лицензии Apache-2.0.

jurabi разработала японскую модель BERT для распознавания и классификации именованных сущностей в тексте. Модель использует архитектуру BertForTokenClassification и насчитывает 138,4 млн параметров; для токенизации применяется японский BERT-токенизатор. Базовая модель — cl-tohoku/bert-base-japanese-v2, дообученная на наборе stockmarkteam/ner-wikipedia-dataset. Модель извлекает восемь типов сущностей: имена людей, компании, политические и другие организации, географические названия, объекты инфраструктуры, названия продуктов и произведений, а также события. Она принимает японский текст и возвращает разметку токенов с типами сущностей; поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Подходит для извлечения сущностей из японских документов и текстов на основе Википедии. В README не приведены оценки качества; результат на других жанрах текста может отличаться. Лицензия — Creative Commons Attribution-ShareAlike 3.0.

Это модель распознавания именованных сущностей на испанском языке, разработанная Лаурой Валеро и Кристианом Валенсией в рамках курса Taller PLN магистратуры Univalle. Она обучена на CoNLL-2002 для разметки токенов и использует архитектуру BiLSTM с выходным слоем CRF, символьную CharCNN и 300-мерные испанские эмбеддинги FastText. На тестовой части CoNLL-2002 модель показала F1 0,8059, точность 0,8057 и полноту 0,8061. Для использования требуется доверие к пользовательскому коду репозитория (`trust_remote_code=True`). Модель распространяется по лицензии CC BY-NC-SA 4.0.

Это модель распознавания именованных сущностей на испанском языке, разработанная Лаурой Валеро и Кристианом Валенсией в рамках учебного проекта Taller PLN магистратуры Univalle. Она обучена на испанской части CoNLL-2002 и предназначена для разметки токенов и извлечения сущностей из испаноязычного текста. Модель использует BiLSTM с выходным CRF, символьную CNN и 300-мерные испанские FastText-эмбеддинги cc.es.300. В карточке приведены результаты на тестовой выборке CoNLL-2002: F1 0,8064, точность 0,8066 и полнота 0,8061. Для загрузки пользовательского кода требуется trust_remote_code=True. Лицензия — CC BY-NC-SA 4.0.

bling-phi-2-v0 — языковая модель серии BLING, разработанная llmware для ответов на вопросы по контексту в RAG-сценариях. Это плотная модель семейства Phi с 3,5 млрд параметров, дообученная на базе Microsoft Phi-2B-Base на пользовательских инструктивных данных. Модель принимает текст и генерирует текст; основным языком в карточке указан английский. Длина контекста — 2048 токенов. Модель предназначена для прототипирования и автоматизации ответов по документам: отвечает на вопросы по предоставленному тексту, извлекает пары ключ-значение и выполняет простое суммирование. В описанном тесте RAG-Instruct-Benchmark-Tester указана точность 93 из 100; результаты теста не гарантируют аналогичного качества на других данных. Для использования необходима проверка фактов: модель может давать неполные или неточные ответы. Лицензия — Apache 2.0.

BROS-large-uncased — предварительно обученная модель семейства BROS, разработанная командой Naver Clova OCR. Она использует архитектуру BrosModel и сочетает текст с пространственной информацией о расположении слов на документе. На вход подаются результаты OCR в виде пар «текст и ограничивающая рамка»; модель предназначена для извлечения ключевой информации из документов, например упорядоченных позиций из чеков. Модель содержит около 433,9 млн параметров, принимает последовательности длиной до 512 токенов и доступна в формате PyTorch. Модель служит основой для задач понимания структуры документов и извлечения данных с учетом их расположения. README описывает предварительное обучение, а не конкретную тонкую настройку под отдельный документный сценарий; заявленная задача в метаданных — извлечение признаков. Сведения о лицензии в предоставленных источниках отсутствуют.

CeLLaTe-ner-2class-reinitllrd-tapt-pubmedbert-tokenizer-adapted-combData-gazetteers-lr3.36e5 — англоязычная модель токенной классификации на архитектуре BERT, разработанная Mardiyyah. Она дообучена на наборе OTAR3088/CeLLaTe-ner-2class-iob_final поверх Mardiyyah/CeLLaTe-tapt-pubmedbert-tokenizer-adapted-wwmask-combinedData и предназначена для разметки токенов в текстах. В оценке на тестовом наборе указаны micro F1 0,7713 и accuracy 0,9840. Модель содержит 138,2 млн параметров, принимает последовательности до 512 токенов и работает через Transformers; веса доступны в формате safetensors. Лицензия — Apache-2.0. Карточка не уточняет классы меток и ограничения применимости.

code-daemon-relation-v1 — модель классификации отношений от автора faxenoff для построения графов знаний по документации. Она принимает фрагмент текста с двумя отмеченными сущностями и за один проход относит их к одному из четырёх классов: отсутствует связь, семантическое сходство, замещение или противоречие, зависимость. Модель предназначена для пакетного извлечения связей из документации, кода и комментариев к нему. В основе лежит энкодер XLM-RoBERTa на базе hotchpotch/mMiniLMv2-L12-H384; модель содержит около 124,3 млн параметров и поддерживает контекст до 514 токенов. Классификационная голова объединяет представления двух маркеров сущностей, поэтому учитывает их порядок. Заявлена поддержка многих языков; доступны веса Safetensors и форматы ONNX и Core ML, а карточка также описывает варианты запуска через TensorRT и OpenVINO. На указанном отложенном наборе модель показала macro-F1 0,60; качество зависит от класса, а границы отношений могут быть неоднозначны. Для извлечения связей README рекомендует задавать порог уверенности и проверять результаты; оба маркера должны сохраняться в контекстном окне. Лицензия — MIT.

Conflibert-named-entity-recognition — модель на архитектуре BERT, разработанная на основе ConfliBERT и дообученная для распознавания и классификации именованных сущностей в тексте. Она выделяет, в частности, людей, организации, географические названия, выражения времени и денежные значения. Модель предназначена для извлечения сущностей из текстовых материалов, в том числе для подготовки данных к анализу политических конфликтов и насилия. Размер составляет 136,3 млн параметров, максимальная длина контекста — 512 токенов; веса опубликованы в формате safetensors. Лицензия — GPL-3.0.

nhanv/cv_parser — модель распознавания сущностей в тексте, созданная дообучением microsoft/mdeberta-v3-base для задачи token classification. Название репозитория указывает на разбор резюме, однако карточка не раскрывает набор меток и не подтверждает конкретные поля, которые модель извлекает. Модель предназначена для разметки последовательности токенов и может использоваться как компонент конвейера извлечения информации из текста. В карточке приведены результаты оценки: F1 0,9111, точность 0,8906, полнота 0,9325 и accuracy 0,9851. Модель содержит 306 млн параметров, имеет контекстное окно 512 токенов и опубликована в формате PyTorch под лицензией MIT.

DEBERTA_CIEL — модель распознавания именованных сущностей, разработанная подразделением Language Technologies Unit центра Barcelona Supercomputing Center в рамках проекта Aina. Это дообученная версия DeBERTa-v3-large с архитектурой DeBERTa v2 для классификации токенов; в репозитории указано 211,6 млн параметров и контекст длиной до 512 токенов. Модель обучена на каталонском наборе CEIL, содержащем почти 59 тысяч документов с девятью основными типами и 52 подтипами сущностей. Модель предназначена для обнаружения и классификации сущностей в коротких текстах на каталонском, испанском и английском языках. Её можно применять для извлечения людей, организаций, географических названий, культурных произведений и других сущностей из текстов. Формальная оценка качества для всех заявленных языков не проводилась; смещения модели отдельно не исследовались, а веб-источники обучающих данных могут вносить нежелательные искажения. Лицензия — Apache 2.0.

Это японская модель распознавания именованных сущностей на основе DeBERTa V2 Base Japanese, дообученная автором Mizuiro-sakura на японском наборе NER из Википедии. Она присваивает токенам метки, в том числе для имён людей, географических названий, организаций, событий, учреждений, компаний и продуктов; модель можно использовать для извлечения таких сущностей из японских текстов. В карточке приведены результаты оценки: micro F1 — 0,81, macro F1 — 0,80. Модель содержит 137,8 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в форматах PyTorch и Safetensors для библиотеки Transformers. Базовая DeBERTa V2 Japanese была предварительно обучена на японской Википедии, японской части CC-100 и японской части OSCAR. Лицензия модели — MIT.

DeepSeek-R1-Strategy-Qwen-2.5-1.5b-Unstructured-To-Structured — языковая модель на архитектуре Qwen2, дообученная MasterControlAIML на базе Qwen/Qwen2.5-1.5B-Instruct с использованием TRL. Модель содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и преобразования неструктурированного текста в структурированный, например JSON. В карточке указано обучение на наборе bhaviktheslider/JSON-Unstructured-Structured; также модель можно применять для общих диалоговых ответов. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0. Карточка не приводит оценок качества и подробных результатов проверки; компактный размер модели может ограничивать сложные рассуждения и точность структурирования по сравнению с более крупными моделями.

Solstice-AI публикует GGUF-сборку DeepSeek-V4-Flash-Vision-UNCENSORED для локального мультимодального диалога и анализа изображений. В ней используются MoE-веса MXFP4 с 305 млрд параметров, включая 256 маршрутизируемых экспертов и около 18 млрд активных параметров на токен; визуальный энкодер сохранён в BF16. К сборке приложены спекулятивные черновые модели DSpark для ускорения вывода. Заявлена длина контекста 1 048 576 токенов. Модель принимает текст и изображения и выдаёт текст; среди подходящих сценариев — визуальные вопросы и ответы, анализ документов и графиков, а также задачи программирования и рассуждений в диалоге. Карточка приводит высокие результаты в ряде бенчмарков, включая DocVQA и ChartQA, но эти показатели заявлены автором и не гарантируют аналогичного качества в конкретной среде. Сборка распространяется по лицензии MIT. В README упоминается режим UNCENSORED, поэтому её ответы могут содержать материалы, которые обычно ограничиваются отказами.

en_core_web_sm — англоязычная модель обработки естественного языка, разработанная компанией Explosion для фреймворка spaCy. Она предназначена для CPU-сценариев и выполняет токенизацию, морфологическую разметку, синтаксический анализ зависимостей, определение границ предложений, лемматизацию и распознавание именованных сущностей. Модель построена как конвейер компонентов tok2vec, tagger, parser, senter, attribute_ruler, lemmatizer и ner. Она поддерживает только английский язык, не содержит предобученных векторных представлений слов и имеет 0 векторов размерности 0. Версия модели — 3.7.1; требуется spaCy версии от 3.7.2 до версии ниже 3.8.0. Распознавание сущностей охватывает, в частности, персон, организации, географические объекты, даты, деньги, проценты, события и произведения искусства. Сильные стороны модели — компактный CPU-ориентированный конвейер с широким набором базовых NLP-функций и хорошими показателями на указанных тестах: точность тегирования 97,25%, F1 синтаксического анализа зависимостей LAS 89,87% и F1 распознавания сущностей 84,56%. Ограничения — работа только с английским языком, отсутствие векторных представлений и более ограниченная точность по сравнению с крупными специализированными моделями, особенно для задач NER. Модель распространяется по лицензии MIT; автор — Explosion.

Erlangshen-UniEX-RoBERTa-330M-Chinese — китайская модель семейства RoBERTa от команды Fengshenbang, предназначенная для извлечения информации из текста. Она сводит распознавание сущностей, извлечение отношений и событий к задачам над парами токенов, объединяя текст и метки в общем представлении с помощью Triaffine attention. По README, модель обучалась на слабой разметке из структурированных данных Baidu Baike и наборах данных для распознавания сущностей, извлечения отношений и событий, а также ответов на вопросы. Заявлены возможности few-shot и zero-shot извлечения. Модель имеет архитектуру BERT с классом BertForMaskedLM, содержит около 424,3 млн параметров и принимает контекст до 512 токенов. Опубликованный формат — PyTorch; лицензия — Apache-2.0. В README размер указан как 110 млн параметров, что расходится с метаданными Hugging Face.

es_core_news_md — испаноязычный NLP-конвейер, разработанный компанией Explosion на базе spaCy 3.7.0. Модель оптимизирована для работы на CPU и предназначена для обработки текстов на испанском языке: токенизации, морфологического анализа, определения частей речи и грамматических признаков, лемматизации, синтаксического анализа зависимостей, выделения границ предложений и распознавания именованных сущностей. Она подходит для информационного поиска, анализа документов, подготовки текстовых данных и других задач классического NLP. В состав входят компоненты tok2vec, morphologizer, parser, senter, attribute_ruler, lemmatizer и ner. Модель использует 300-мерные векторы: заявлено 500 000 ключей и 20 000 уникальных векторов. Обучение опирается на UD Spanish AnCora, WikiNER, данные spaCy lookups и fastText-векторы Explosion. В README не указаны ограничения по длине контекста и перечень дополнительных модальностей, поэтому модель следует рассматривать как предназначенную для текстовых данных на испанском языке. Среди заявленных результатов — F1 0,894 для NER, точность 0,985 для UPOS, 0,980 для морфологических признаков, 0,965 для лемматизации, UAS 0,913, LAS 0,880 и F1 0,988 для определения предложений. Ограничениями являются специализация на испанском языке, CPU-ориентированная архитектура и то, что показатели зависят от домена и качества входного текста. Модель распространяется по лицензии GNU GPL 3.0, что необходимо учитывать при использовании и интеграции.

HuggingFaceM4 опубликовала дообученную на наборе Docmatix модель Microsoft Florence-2 для ответов на вопросы по документам и изображениям. README сообщает, что обучение длилось один день и использовало 5% данных Docmatix с learning rate 1e-6; библиотека для работы с моделью — Transformers, веса представлены в формате safetensors. Модель принимает изображение и текстовый запрос и формирует текстовый ответ. Карточка указывает английский язык и лицензию MIT. В метаданных базовой моделью названа microsoft/Florence-2-base-ft, тогда как README указывает Florence-2-large-ft; точный размер и контекст в предоставленных данных не приведены.

tarif2108 разработал дообученную текстовую модель на базе google/gemma-3-270m-it для извлечения структурированных данных и формирования JSON без разговорных вступлений. Модель содержит 257 млн параметров, использует плотную архитектуру Gemma 3 и рассчитана на контекст до 32 768 токенов. В карточке заявлена настройка для function calling и строгого вывода JSON; приведённая оценка на тестовом наборе из 100 запросов показывает 90% синтаксически корректных JSON-ответов и 21% точного совпадения со схемой. Модель подходит для преобразования текстовых запросов и описаний в JSON, а также для извлечения аргументов структурированных вызовов функций. README сообщает о меньшей задержке и более высокой точности форматирования относительно базовой модели, однако эти результаты получены на небольшом тестовом наборе и не гарантируют качество на других данных. Доступны веса safetensors и GGUF F16. Лицензия — Gemma; перед использованием следует соблюдать её условия.