I.3Извлечение и структурирование данных

cahya/xlm-roberta-base-indonesian-NER — модель Cahya для распознавания именованных сущностей в индонезийском тексте. Это XLM-RoBERTa с архитектурой классификации токенов, около 305,2 млн параметров и контекстом до 514 токенов. Она присваивает метки отдельным токенам, чтобы выделять сущности в тексте; карточка Hugging Face не содержит подробностей о наборе меток или оценках качества. Модель доступна в форматах PyTorch и Safetensors и предназначена для задачи token classification. Лицензия в доступных метаданных и карточке не установлена.

akdeniz27/xlm-roberta-base-turkish-ner — модель распознавания именованных сущностей, разработанная на основе XLM-RoBERTa и дообученная для турецкого языка. Она выполняет токенную классификацию и размечает имена людей, организаций и местоположений с помощью BIO-меток. Модель содержит 305,2 млн параметров, принимает текст и имеет контекст до 514 токенов. Она подходит для извлечения сущностей из турецких текстов и может использоваться как компонент систем поиска, индексирования и анализа документов. Основа — мультиязычная XLM-RoBERTa; при дообучении использовался проверенный вариант турецкого набора данных NER. В README приведены параметры обучения: длина последовательности 512 токенов, две эпохи и скорость обучения 2e-5. Модель распространяется по лицензии MIT. Описание не приводит метрик качества, поэтому точность на конкретных текстах следует оценивать отдельно.

FacebookAI/xlm-roberta-large-finetuned-conll03-english — многоязычная модель XLM-RoBERTa-large, дообученная на английском наборе CoNLL-2003 для классификации токенов. Архитектура основана на RoBERTa; размер модели — 658,7 млн параметров, длина контекста — 514 токенов. Базовая XLM-RoBERTa обучалась на 100 языках, однако эта версия дообучена на англоязычных данных. Модель предназначена прежде всего для распознавания именованных сущностей в тексте, а также может применяться для разметки частей речи. Она присваивает метки отдельным токенам и подходит для извлечения сущностей из английских документов. Для других языков качество после дообучения на английском наборе не гарантируется. Возможны систематические смещения при распознавании сущностей разных демографических групп; результаты следует проверять. В README лицензия не указана.

Youtu-HiChunk — модель Tencent Youtu Lab для иерархической структуризации документов и настройки гранулярности фрагментов при поиске в RAG-системах. Она представляет собой плотную причинную языковую модель семейства UTU v1 с 3,6 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса SafeTensors и рассчитан на Transformers. Вместе с алгоритмом Auto-Merge модель помогает выбирать подходящий уровень фрагмента — например, раздел, подраздел или абзац — чтобы извлекаемые сведения сохраняли контекст и смысловую полноту. Метаданные также указывают поддержку генерации текста и извлечения признаков, а карточка заявляет китайский язык и интерфейсы чата и вызова инструментов. Модель предназначена для построения иерархических представлений документов и улучшения извлечения контекста в RAG. В метаданных указана лицензия other; конкретные условия следует сверить с лицензией репозитория. Описание не приводит результатов оценки качества.

airoboros-l2-c70b-3.1.2 — экспериментальная диалоговая модель jondurbin на архитектуре Llama 2, дообученная на Llama 2 70B Chat с использованием преимущественно синтетических данных набора airoboros-3.1. Модель содержит 68,7 млрд параметров, работает с текстом и рассчитана на контекст до 4096 токенов; для диалога использует шаблон Llama 2 Chat. Модель предназначена для выполнения инструкций и широкого круга текстовых задач: ответов по предоставленному контексту, суммаризации, извлечения информации из логов, обезличивания текста, программирования и генерации структурированных аргументов для функций. В README отмечено, что акцент сделан на следовании инструкциям, а не на непринуждённом общении и ролевой игре. Для MathJSON автор рекомендует низкую температуру генерации. Автор характеризует модель как экспериментальную и сообщает о тестовом дообучении поверх чат-версии Llama 2. Возможны ошибки и выдуманные ответы; для вопросов по контексту рекомендуется явно просить не придумывать ответ при нехватке сведений. Модель распространяется под лицензией Llama 2.

Komail262/arabert-ner-anercorp — модель для распознавания именованных сущностей в арабском тексте. Она дообучена на наборе ANERCorp на базе aubmindlab/bert-base-arabertv02 и использует архитектуру BERT с классификацией токенов; размер составляет 162,4 млн параметров, контекст — до 512 токенов. Модель размечает сущности по схеме BIO: имена людей (PERS), места (LOC), организации (ORG) и прочие сущности (MISC). Она предназначена для извлечения именованных сущностей из новостных текстов на современном стандартном арабском языке. На тестовой части ANERCorp приведены оценки F1 на уровне сущностей: 0,9015 для LOC, 0,8485 для PERS и 0,7083 для ORG. Модель может хуже работать с арабскими диалектами и публикациями в социальных сетях; точность для ORG и MISC ниже, чем для LOC и PERS. Для критически важных сценариев требуется оценка на целевом домене. Лицензия указана как other.

bert4ner-base-chinese — модель на основе BERT для распознавания именованных сущностей в китайском тексте, опубликованная shibing624. Она размечает текст по токенам и извлекает сущности, например имена людей и временные выражения. Модель можно применять для извлечения сущностей из китайских документов и текстовых записей; для запуска автор приводит пример использования через nerpy и Hugging Face Transformers. Модель содержит 129,5 млн параметров, использует архитектуру BertForTokenClassification и принимает контекст длиной до 512 токенов. В README приведён результат на тестовой выборке PEOPLE: F1 0,9525, точность 0,9425 и полнота 0,9627. Доступны веса PyTorch и safetensors. Лицензия — Apache-2.0.

CAMeL-Lab разработала CAMeLBERT MSA NER — модель распознавания именованных сущностей в арабском тексте на основе BERT, дообученную от CAMeLBERT для современного литературного арабского языка (MSA). Для дообучения использован датасет ANERcorp. Модель размечает сущности на уровне токенов; её можно применять через компонент NER в CAMeL Tools или через Transformers pipeline. Модель содержит 136,3 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Она предназначена для текста на современном стандартном арабском языке. Лицензия — Apache-2.0. Результаты могут зависеть от соответствия текста MSA и характеристикам обучающего набора ANERcorp.

protectai/bert-base-NER-onnx — это ONNX-версия модели dslim/bert-base-NER, разработанная для проекта ProtectAI и преобразованная в формат ONNX с использованием библиотеки Hugging Face Optimum. Проект архивирован и больше не поддерживается активно. Модель предназначена для задачи распознавания именованных сущностей (NER), в том числе для извлечения персон, организаций, местоположений и сущностей категории MISC из англоязычного текста. Она основана на bert-base-cased, дообученной на англоязычной версии набора данных CoNLL-2003, и относится к классу моделей token classification. Для запуска используются Optimum ONNX Runtime и Transformers. Известные характеристики модели: поддерживается английский язык, формат ONNX, базовая архитектура BERT и четыре типа сущностей — LOC, ORG, PER и MISC. README не указывает размер модели, длину контекста, точные метрики качества или перечень поддерживаемых модальностей помимо текста. Лицензия — MIT. Ограничения включают специализацию на английском языке, зависимость от ONNX Runtime и отсутствие активной поддержки проекта.

akdeniz27/bert-base-turkish-cased-ner — модель распознавания именованных сущностей, созданная дообучением dbmdz/bert-base-turkish-cased на проверенной версии набора данных для турецкого NER. Она использует архитектуру BERT с классификационной головой для разметки токенов и предназначена для извлечения из турецкого текста имён людей, организаций и мест. Модель подходит для анализа новостей, документов и других текстов, где требуется находить и группировать такие сущности. Модель содержит 137,8 млн параметров и обрабатывает последовательности длиной до 512 токенов. Репозиторий включает варианты PyTorch, ONNX и safetensors. Лицензия — MIT. Описание не приводит метрик качества; предсказания требуют последующей группировки токенов в сущности, например с помощью параметра aggregation_strategy.

bert-chunker-3 — модель для разбиения документов на смысловые фрагменты, опубликованная пользователем tim1900. Она основана на BERT с архитектурой BertForTokenClassification и предсказывает начальные токены фрагментов; скользящее окно позволяет обрабатывать документы произвольной длины. Модель предназначена для подготовки текста к поиску и генерации с дополненным поиском (RAG), в том числе для неструктурированных и неаккуратно оформленных текстов. В README указано, что обучающие данные размечались языковой моделью, а обучающий процесс был изменён для повышения стабильности при сдвиге распределения данных. Модель содержит 25,9 млн параметров, принимает последовательности длиной до 512 токенов и распространяется по лицензии MIT. Карточка описывает её как альтернативу семантическому разбиению Kamradt; заявленные сравнения приведены в README, но доступный фрагмент таблицы неполон. README также сообщает о более новой версии bc-3.5, поэтому эта карточка относится к предыдущей версии семейства.

ivalpa/bert-finetuned-ner — дообученная модель на базе BAAI/bge-small-en-v1.5 для классификации токенов, вероятно, распознавания именованных сущностей. Модель построена на архитектуре BERT, содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты на оценочной выборке: precision 0,8969, recall 0,9265, F1 0,9114 и accuracy 0,9815. Датасет и набор меток не описаны, поэтому нельзя определить, какие именно сущности или другие классы размечает модель. Репозиторий распространяется по лицензии MIT.

SegeeMak/bert-finetuned-ner — модель BERT для классификации токенов, дообученная разработчиком SegeeMak на неизвестном наборе данных. Она предназначена для задач разметки последовательностей, в частности для распознавания именованных сущностей. Модель содержит 135,5 млн параметров, использует архитектуру BertForTokenClassification и принимает текст с контекстом до 512 токенов. В карточке приведены результаты на оценочном наборе: F1 0,9398, точность 0,9301, полнота 0,9497 и accuracy 0,9858. Язык данных, типы распознаваемых сущностей и состав обучающего набора не раскрыты, поэтому применимость к конкретному языку или схеме разметки требует проверки. Лицензия — Apache-2.0.

bert-finetuned-resumes-sections — дообученная модель на основе dbmdz/bert-base-french-europeana-cased для классификации разделов резюме. Она предназначена для определения типа или раздела по текстовому фрагменту резюме. Модель использует архитектуру BERT для классификации последовательностей, содержит 137,8 млн параметров и принимает текст длиной до 512 токенов. В README приведены результаты оценки: F1 0,9548, ROC AUC 0,9732 и accuracy 0,9493. Датасет обучения не описан, поэтому эти показатели нельзя переносить на другие наборы резюме без проверки. Модель опубликована под лицензией MIT.

Модель almanach/camembertav2-base-ftb-ner разработана Виссамом Антуном из Almanach, Inria-Paris. Это дообученная версия almanach/camembertav2-base на архитектуре DeBERTa-v2, предназначенная для распознавания именованных сущностей во французском тексте с помощью пок tokenной классификации. Модель обучена на наборе FTB-NER и показала F1 0,93966 на этом наборе. Её можно применять для выделения сущностей во французских текстах; число параметров составляет 138,4 млн, контекст — до 1024 токенов. Модель распространяется по лицензии MIT. Качество и переносимость могут снижаться на данных, отличающихся от FTB-NER; карточка также предупреждает о возможных смещениях, унаследованных от обучающих данных.

evangeliazve/camembert-ner-articles-nomination — дообученная модель CamemBERT для распознавания именованных сущностей в текстах. Она выделяет имена людей, организации и должности; в карточке приведены результаты оценки: F1 0,8723 и loss 0,6701. Модель описана как резервная версия модели для новостных статей; отдельная модель для предсказания отношений между сущностями упомянута как разрабатываемая, поэтому эта модель сама такие отношения не определяет. Модель содержит 137,8 млн параметров, использует архитектуру CamembertForTokenClassification и поддерживает контекст до 514 токенов. README указывает, что она дообучена на camembert-base, но набор данных не назван; предполагаемая область применения — извлечение сущностей из статей. Лицензия — MIT.

camembert-ner-with-dates — французская модель распознавания именованных сущностей на основе CamemBERT, созданная Jean-Baptiste как расширение модели camembert-ner. Она выполняет разметку токенов, выделяя людей, местоположения, организации, прочие сущности и даты. Модель обучена на обогащённой версии WikiNER на французском языке, содержащей около 170 тысяч предложений, и подходит, например, для извлечения сущностей из электронных писем и чатов. Модель содержит 137,8 млн параметров и принимает контекст до 514 токенов. Для общей разметки сущностей в README указаны precision и recall 0,928 и F1 0,928; автор оценивает F1 для метки DATE примерно в 90%, но отмечает, что эта оценка получена особым способом добавления дат в датасет. Лицензия — MIT. Для преобразования найденных выражений дат в объекты даты и времени README предлагает дополнительно использовать dateparser.

HYM/Cbert_base_ws-finetuned-ner — модель на архитектуре BERT, дообученная разработчиком HYM на основе ckiplab/bert-base-chinese-ws для разметки последовательностей токенов. Она предназначена для извлечения именованных сущностей в китайском тексте. В README приведены результаты на оценочном наборе: F1 0,9617, точность 0,9602, полнота 0,9633 и accuracy 0,9827; состав набора данных и подробности обучения не описаны. Модель принимает текст и выдаёт метки для его токенов. Контекст ограничен 512 токенами. Репозиторий содержит веса PyTorch; лицензия — GPL-3.0.

jiaqianjing выпустил модель chinese-address-ner — дообученную для распознавания адресных сущностей версию hfl/chinese-roberta-wwm-ext на неизвестном наборе данных. Модель на основе BERT обрабатывает китайскую строку адреса и присваивает метку каждому токену, выделяя компоненты адреса по семи административным уровням в схеме BIO. Модель предназначена для извлечения структурированных адресных компонентов, например из адресов на почтовых отправлениях. В README приведены метрики на оценочном наборе: F1 0,9719, точность 0,9664 и полнота 0,9774. Размер модели — 129,5 млн параметров, контекст — до 512 токенов. Распространяется по лицензии Apache-2.0.

Chonky modernbert base v1 — модель для разбиения текста на смысловые фрагменты, разработанная автором репозитория mirth и дообученная на answerdotai/ModernBERT-base. Она присваивает токенам метки границ фрагментов, чтобы получить семантически связные части текста для последующей индексации и поиска в системах RAG. Модель построена на архитектуре ModernBERT с 149 млн параметров и использует библиотеку Transformers. Она обучалась на абзацах из BookCorpus; карточка приводит F1 0,79, точность 0,83 и полноту 0,75 на уровне токенов. Хотя базовая ModernBERT поддерживает контекст до 8192 токенов, эта версия дообучалась на последовательностях длиной 1024 токена. Модель ориентирована на англоязычный текст и выдаёт разметку токенов, а не готовые эмбеддинги или ответы. Для её использования автор указывает библиотеку chonky. Лицензия — MIT.

GLiNER ContractNER Multi — многоязычная модель распознавания сущностей, дообученная Agile Lab на наборе ContractNER. Она извлекает из юридических договоров фрагменты текста, соответствующие заданным типам сущностей, включая стороны договора, должности, даты, условия продления, суммы и ссылки на законы и нормативные акты. Модель основана на GLiNER Multi v2.1 с энкодером mDeBERTa-v3-base и содержит около 209 млн параметров; поддерживает задаваемые пользователем метки, а для обученной схемы предусмотрено 18 типов сущностей. Модель предназначена для предварительного анализа договоров, проверки юридических документов и мониторинга сроков действия и продления договоров. В тесте на выборке из 158 примеров она показала micro F1 72,49% при пороге 0,9. Основная оптимизация выполнена для англоязычных договоров; качество может снижаться для языков с небольшим объёмом данных, а контекст ограничен 384 токенами, поэтому для длинных документов рекомендуется обработка скользящими окнами. Модель распространяется по лицензии Apache-2.0.

DictaBERT-Large NER — крупная модель семейства BERT, выпущенная Dicta, для распознавания именованных сущностей в современном иврите. Это дообученная для разметки последовательностей версия BERT-large с архитектурой BertForTokenClassification; размер составляет 533,7 млн параметров, а контекст — до 512 токенов. Модель принимает текст и присваивает метки его токенам, помогая находить в тексте сущности.

DictaBERT NER — модель семейства BERT, разработанная Dicta, представляющая собой дообученную версию BERT-base для распознавания именованных сущностей в современном иврите. Она предназначена для разметки токенов и выявления сущностей в ивритских текстах. Модель содержит 211,6 млн параметров, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и Safetensors. Модель подходит для извлечения сущностей из документов и текстовых коллекций на иврите. Карточка указывает лицензию CC BY 4.0. Подробности о типах сущностей и качестве на отдельных наборах данных в предоставленных материалах не описаны.

Rocketknight1/distilbert-base-uncased-finetuned-ner — модель токеновой классификации на базе DistilBERT, дообученная для распознавания именованных сущностей. Она предназначена для разметки токенов в англоязычном тексте и может использоваться для извлечения упоминаний сущностей из документов и сообщений. Модель основана на uncased-варианте DistilBERT, принимает текст с контекстом до 512 токенов и доступна в формате TensorFlow. В карточке приведены метрики обучения: F1 0,9081 и точность 0,9793 на обучающей выборке; данные оценки включают validation loss 0,0726. Датасет и категории сущностей не описаны, поэтому качество для конкретных типов текста и сущностей по этим показателям определить нельзя. Лицензия — Apache-2.0.

Модель ele-sage/distilbert-base-uncased-name-classifier — бинарный классификатор текстовых строк, дообученный разработчиком ele-sage на базе distilbert/distilbert-base-uncased. Она определяет, обозначает ли строка имя человека или компанию/организацию, и предназначена для классификации имён, в том числе как быстрого первого этапа конвейера обработки имён перед их более сложным разбором. Модель использует архитектуру DistilBERT для классификации последовательностей, принимает текст и выдаёт метку Person или Company. Контекст ограничен 512 токенами; карточка указывает поддержку английского и французского языков. На оценочном наборе автор сообщает точность 0,9939 и F1 0,9945. Модель распространяется по лицензии MIT. Классификатор специализирован и не предназначен для других задач, например анализа тональности. По данным карточки, обучающая выборка смещена в сторону североамериканских, особенно канадских, имён и компаний Квебека; неоднозначные названия могут получать статистически вероятную, но контекстуально неверную метку. В исходных данных имён людей присутствовал шум.

Document Image Transformer (DiT) base — модель Microsoft для анализа изображений документов. Это энкодер Transformer с архитектурой, идентичной BEiT; версия base содержит 119,5 млн параметров. Модель предварительно обучена на 42 млн изображений документов из IIT-CDIP с самоконтролируемой задачей предсказания визуальных токенов для замаскированных участков изображения. DiT преобразует изображения документов в признаки и предназначена прежде всего для дообучения под прикладные задачи: классификацию документов, обнаружение таблиц и анализ структуры страницы. Для непосредственного использования модель может кодировать изображения документов в векторное пространство. Веса доступны в формате PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.

ledddev/dl-hw2-bge-ner — дообученная модель BAAI на архитектуре BERT для классификации токенов. Она предназначена для задач разметки последовательности текста, включая распознавание именованных сущностей; данные обучения и конкретная схема меток не описаны. Модель содержит около 40 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors. В README приведены метрики на оценочной выборке: F1 0,8818, точность 0,8633, полнота 0,9012 и accuracy 0,9772. Базовая модель BAAI/bge-small-en-v1.5 ориентирована на английский язык. Лицензия модели — MIT; качество на других наборах данных и переносимость на другие схемы сущностей не установлены.

Donut base — модель для разбора изображений документов, дообученная командой Donut на наборе данных CORD. Она построена по архитектуре vision-encoder-decoder: визуальный энкодер Swin Transformer кодирует изображение, а декодер на основе BART генерирует текст. Модель предназначена для извлечения структурированной информации из изображений чеков и других документов, похожих на примеры из CORD. В отличие от OCR-конвейера, требующего отдельного распознавания текста, модель напрямую преобразует изображение документа в текстовое представление. Репозиторий содержит веса PyTorch; лицензия — MIT. Настройка на CORD ограничивает надёжность на типах документов и форматах, отличающихся от обучающих данных.

dots.mocr-svg — вариант модели dots.mocr, разработанный командой dots.mocr и оптимизированный для преобразования изображений в SVG-код. Это плотная авторегрессионная модель семейства dots_ocr на 1,5 млрд параметров с контекстом до 131 072 токенов; она принимает визуальный ввод и генерирует текстовое представление результата. Модель предназначена для разбора документов и структурированной графики, включая диаграммы, макеты интерфейсов и научные иллюстрации, а также для распознавания, семантического понимания и диалоговой работы с изображениями. Её можно применять для преобразования графики в SVG, извлечения структуры и текста из документов, распознавания элементов макета и подготовки Markdown-представления содержимого. В README отмечены ограничения при извлечении сложных таблиц и формул, а также случаи неустойчивого разбора графики и редкие сбои обработки. Модель опубликована под лицензией MIT.

llmware/dragon-mistral-7b-v0 — языковая модель из серии dRAGon, разработанная компанией llmware. Она дообучена на базе Mistral-7B-Base с ориентацией на фактологичные ответы по сложным деловым, юридическим и нормативным документам, снижение галлюцинаций и выдачу коротких, понятных ответов для автоматизации рабочих процессов. Модель предназначена для сценариев Retrieval-Augmented Generation (RAG), включая ответы на вопросы по предоставленному контексту, извлечение пар «ключ–значение» и базовое суммирование. Указанный язык — английский. Архитектура — Mistral-7B; размер контекста и другие параметры не приведены. По результатам двух прогонов RAG-Instruct-Benchmark-Tester модель получила средний показатель правильных ответов 96,5 из 100, 92,5% по классификации отсутствия ответа, 97,5% в задачах с ответами «да/нет» и 81,25% в задачах на математику и логику. В тестах галлюцинаций не наблюдалось. Сильные стороны модели — работа с закрытым контекстом, извлечение фактов, ответы на вопросы по таблицам и сложным документам, а также пригодность для корпоративных процессов в финансовой, юридической и регулируемой сферах. Ограничения включают возможную неточность или неполноту ответов, поэтому необходимы проверка фактов и защитные механизмы. Для использования указана лицензия Apache 2.0; модель доступна через Transformers и требует специального формата промпта с контекстом документа и вопросом.