I.3Извлечение и структурирование данных

RuModernBERT-base — русская версия двунаправленного энкодера ModernBERT, разработанная DeepVk. Это плотный Transformer с архитектурой ModernBERT и задачей masked language modeling: модель обучена предсказывать замаскированные токены и создавать контекстные представления текста. Число параметров — около 149 млн, глубина — 22 слоя, размер словаря — 50 368 токенов, длина контекста — до 8 192 токенов. Предобучение охватывает примерно 2 трлн токенов на русском и английском языках, а также коде; использовались интернет-источники, книги, научные материалы и социальные сети. Модель подходит как основа для задач понимания текста, включая классификацию и распознавание именованных сущностей после соответствующей настройки. Для NER авторы рекомендуют ревизию patched-tokenizer: в ней шесть часто встречающихся строчных русских букв токенизируются по одному токену. На 20 задачах RuMTEB статистически значимого ухудшения качества относительно исходной версии не обнаружено. Модель распространяется под лицензией Apache-2.0. Это энкодер для анализа и представления текста, а не генеративный чат-бот; для прикладных задач, отличных от заполнения масок, может потребоваться дополнительная настройка. Указанные авторами оценки RSG рассчитаны на dev-выборке с подбором гиперпараметров.

sat-6l — модель сегментации текста на предложения из семейства Segment Any Text, разработанная для библиотеки wtpsplit. Она определяет границы предложений и подходит для автоматического разбиения сплошного текста на фрагменты перед дальнейшей обработкой. Модель использует архитектуру SubwordXLMForTokenClassification с шестью слоями Transformer; размер — 248,6 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и ONNX. Модель предназначена для многоязычной сегментации текста. Метаданные перечисляют поддержку ряда языков, включая английский, немецкий, французский, испанский, арабский, хинди и японский. Лицензия — MIT. Карточка связывает модель с исследовательской работой Segment Any Text.

sat-6l-sm — многоязычная модель семейства XLM для классификации токенов, разработанная для библиотеки wtpsplit. Она сегментирует текст на предложения и рассчитана на применение в сценариях, где нужно восстановить границы предложений в сплошном тексте. Архитектура плотная, с шестью слоями Transformer; в репозитории представлены веса Safetensors и формат ONNX. Модель содержит 248,6 млн параметров и имеет контекстное окно 514 токенов. Модель поддерживает множество языков, включая английский, арабский, китайский в тегах не указан, русский также не указан. Лицензия — MIT. Карточка заявляет качество уровня state of the art для сегментации предложений, но не приводит подробностей бенчмарков; длина контекста ограничивает обработку длинных фрагментов за один проход.

0xKitkat/semantic-chunker-modernbert-base — англоязычная модель 0xKitkat для семантического разбиения документов на фрагменты в RAG-пайплайнах. Это дообученная на структуре разделов Wikipedia модель ModernBERT-base с архитектурой token classification и 149 млн параметров. Она оценивает вероятность границы темы после каждого предложения; контекст модели — до 8192 токенов, обучение проводилось с контекстом 2048 токенов. Доступны веса в форматах Safetensors и ONNX. Модель предназначена для длинных статей, отчётов, руководств и транскриптов, где смена темы может происходить внутри документа. В тестах она хорошо распознаёт границы предложений, но более точные границы не обеспечили стабильного улучшения качества поиска по сравнению с разбиением фиксированного размера. Особенно полезно проверять её на собственном корпусе и настраивать минимальную длину фрагмента. Модель обучена на англоязычном энциклопедическом тексте; разговорные расшифровки, код и таблицы отличаются от обучающего распределения. Для коротких документов семантическое разбиение может ухудшить поиск и работать существенно медленнее фиксированного разделителя. Лицензия — Apache-2.0.

SpanBERT/spanbert-base-cased — англоязычная предварительно обученная модель-кодировщик семейства BERT, разработанная исследователями, опубликовавшими проект SpanBERT. Она использует конфигурацию BERT base: 12 слоёв, скрытый размер 768 и 12 голов внимания; карточка указывает 135,5 млн параметров и контекст до 512 токенов. Особенность предобучения — маскирование и обучение на уровне текстовых фрагментов, чтобы лучше представлять и предсказывать spans. Модель предназначена для дообучения под задачи понимания текста, включая извлечение ответов из контекста, разрешение кореференции, извлечение отношений и классификацию. Она принимает текст и выдаёт контекстные представления токенов, а конкретные ответы или метки обычно формируются дообученной task-specific моделью. Доступны веса PyTorch и Flax. Авторы сообщают о результатах на SQuAD, кореференции и TACRED; эти результаты относятся к их оценкам и не гарантируют качество на других данных. Для предварительно обученных весов указана лицензия CC-BY-NC 4.0, которая ограничивает коммерческое использование. Архив проекта также отмечает, что лицензия распространяется на предобученные модели.

Модель tomaarsen/span-marker-bert-base-acronyms разработана на базе SpanMarker и предназначена для распознавания упоминаний акронимов в английском тексте. Она выделяет полные формы терминов и соответствующие им сокращения, например «Principal Component Analysis» и «PCA», и присваивает им метки long и short. Модель дообучена на наборе Acronym Identification с использованием bert-base-cased в качестве энкодера. Модель решает задачу классификации токенов и поддерживает последовательности длиной до 256 токенов; максимальная длина распознаваемой сущности — 8 слов. В README приведена оценка F1 0,9336 на наборе акронимов. Для текста с непоследовательной капитализацией автор рекомендует uncased-вариант. Модель доступна под лицензией Apache-2.0.

SpanMarker для выявления акронимов и их расшифровок в английском тексте, обученная на наборе Acronym Identification. Модель разработана на основе некейс-чувствительного энкодера bert-base-uncased от Google и предназначена для распознавания именованных сущностей: она находит краткие формы и соответствующие им длинные названия, например SODA и successive convex approximation. Модель принимает текст и размечает фрагменты метками short и long. Максимальная длина последовательности — 256 токенов, максимальная длина сущности — 8 слов. В карточке приведены значения F1 0,9199 для всех сущностей, 0,9262 для коротких и 0,9074 для длинных. Лицензия — Apache-2.0; модель можно дообучить на собственном наборе данных. Поскольку энкодер не учитывает регистр, автор рекомендует кейс-чувствительную версию, если регистр в исходных данных всегда корректен.

liaad/srl-en_xlmr-large — модель семантической разметки ролей, созданная командой проекта liaad на базе xlm-roberta-large и дообученная на англоязычных данных OntoNotes v5.0 в формате CoNLL. Она предназначена для анализа предложений: связывает предикаты с их аргументами и определяет семантические роли участников события. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и принимает текстовые последовательности с контекстом до 514 токенов. В карточке также отмечена поддержка португальского и английского языков; данный вариант обучен для английской разметки. Распространяется в формате PyTorch по лицензии Apache-2.0. К ограничениям относятся обучение всего на пяти эпохах и предварительная обработка английских данных для согласования с португальскими, из-за которой часть ролей была удалена, а назначения ролей могут отличаться от исходных данных. TensorFlow-версия не предоставляется из-за изменения параметра type_vocab_size.

Это языковой пакет Stanza для латышского языка, разработанный Stanford NLP. Он предназначен для лингвистического анализа текста: от обработки исходного текста до синтаксического разбора и распознавания именованных сущностей. В метаданных указана задача token-classification, библиотека Stanza и формат PyTorch; модель распространяется по лицензии Apache-2.0. Пакет подходит для включения латышского NLP-анализа в исследовательские и прикладные системы. Карточка не приводит сведения о размере модели и длине контекста.

Stanza для шведского языка — набор моделей лингвистического анализа естественного языка, разработанный Stanford NLP. Модель предназначена для анализа текста: от исходной строки до синтаксического разбора и распознавания сущностей. В карточке Hugging Face она отнесена к задаче классификации токенов и использует библиотеку Stanza; веса представлены в формате PyTorch. Модель подходит для обработки шведских текстов в NLP-конвейерах, включая разметку токенов и извлечение сущностей. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели и длину контекста.

sathishmahi/tamil-ner-model — модель распознавания именованных сущностей в тексте на тамильском языке. Это дообученная версия bert-base-uncased на датасете XTREME, построенная на архитектуре BERT с классификационной головой для разметки токенов. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт метки для токенов. Модель предназначена для извлечения именованных сущностей из тамильского текста. В README приведено значение loss 0,5562 на оценочном наборе, но классы сущностей и подробности протокола оценки не описаны. Распространяется по лицензии Apache-2.0.

xyntopia/tb_classifier — модель на базе BERT для классификации коротких текстовых фрагментов, разработанная xyntopia. В карточке указано, что сейчас её основное применение — распознавание адресов в тексте. Модель содержит 25,9 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате PyTorch. Модель подходит для классификации небольших текстовых блоков, в частности для извлечения или распознавания адресов в текстовых данных. Язык, на котором обучена модель, и конкретная схема классов не описаны. Распространяется по лицензии MIT.

TEI Bibliographic Annotator — модель cmboulanger, дообученная на Qwen/Qwen2.5-3B-Instruct с помощью LoRA и объединённая с базовыми весами. Она размечает обычный текст библиографических цитат встроенными TEI XML-тегами: выделяет авторов, названия, даты, издателей и другие структурные элементы, сохраняя исходный текст без перефразирования и нормализации. Модель рассчитана на цитаты из сносок в юридико-социологических работах, включая сокращённые и анафорические ссылки вроде «Id.» и «ibid.», а также цитаты, смешанные с авторским текстом. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров и контекстом 32 768 токенов. Принимает текстовую инструкцию и цитату в формате чата, выдаёт размеченный текст; карточка указывает немецкий и английский языки. На пилотной проверке корректный TEI XML получен для 99,83% записей, точное совпадение с эталонной разметкой — для 42,50%; эти результаты относятся к первому пилоту и являются ограниченной проверкой, а не полной оценкой выпущенной версии. Лицензия указана как other, конкретные условия в карточке не раскрыты.

pythainlp/thainer-corpus-v2-base-model — модель распознавания именованных сущностей на тайском языке, разработанная на основе WangchanBERTa base и дообученная на корпусе Thai NER v2.0. Она размечает токены текста категориями сущностей; архитектура — CamemBERT для классификации токенов, размер — 132,5 млн параметров, максимальный контекст — 512 токенов. Модель подходит для извлечения сущностей из тайских текстов. На тестовой выборке указаны F1 0,848 и точность 0,972. Для инференса стандартный механизм Hugging Face для token classification на тайском может выдавать неверные метки; автор рекомендует использовать специальный код из карточки. Модель распространяется по лицензии CC BY 4.0.

th_PP-OCRv5_mobile_rec — компактная модель распознавания строк текста из семейства PP-OCRv5_rec, разработанная командой PaddleOCR. Она предназначена для извлечения тайского текста из изображений и может использоваться как модуль распознавания в конвейере OCR, включающем обнаружение текста и, при необходимости, коррекцию ориентации и геометрических искажений. Для модели указана точность распознавания строк 82,68%; строка считается распознанной неверно, если ошибочен хотя бы один символ или знак пунктуации. Модель принимает изображения текстовых строк и выдаёт распознанный текст. Репозиторий предназначен для использования с библиотекой PaddleOCR; лицензия — Apache-2.0. В README не приведены дополнительные ограничения по качеству или условия использования.

TrOCR base STR — модель оптического распознавания текста от Microsoft, дообученная на наборах IC13, IC15, IIIT5K и SVT. Она предназначена для распознавания текста на изображениях отдельных строк, например на фотографиях вывесок и коротких надписей. Модель построена по архитектуре vision encoder-decoder: Transformer-кодировщик изображений преобразует изображение в последовательность патчей 16×16, а авторегрессионный Transformer-декодер генерирует текст. Кодировщик инициализирован весами BEiT, декодер — RoBERTa. Репозиторий содержит веса PyTorch. Модель рассчитана на распознавание строк текста; качество для документов, многострочных изображений и других доменов может отличаться от качества на использованных наборах. Лицензия в предоставленных материалах не указана.

UDOP-finetuned-DocLayNet-3 — модель семейства UDOP для классификации токенов в документах. Она дообучена для задачи разметки элементов макета документа на данных DocLayNet-small и может применяться для извлечения структурных областей из документов. Модель содержит 386,3 млн параметров и опубликована в формате safetensors под лицензией Apache-2.0. В карточке приведены результаты оценки: F1 0,5962, точность 0,6058, полнота 0,5870 и accuracy 0,7863. Метаданные указывают английский язык; модель предназначена для анализа документов с текстовым содержимым. Эти метрики показывают умеренное качество разметки, поэтому результаты для документов и классов, отличающихся от DocLayNet, требуют отдельной проверки.

tanfiona/unicausal-tok-baseline — модель на базе BERT для поиска причинно-следственных фрагментов в последовательностях. Она размечает токены метками начала и продолжения причины (B-C, I-C), начала и продолжения следствия (B-E, I-E), а также меткой для токенов вне этих фрагментов (O). Модель предназначена для извлечения причин и следствий из текста; обучена на нескольких наборах данных. Модель имеет 135,5 млн параметров, использует архитектуру BertForTokenClassification и принимает текстовые последовательности длиной до 512 токенов. Метаданные указывают английский язык и формат PyTorch. Лицензия обозначена как unknown, поэтому условия использования следует уточнить в репозитории модели.

undertheseanlp/vietnamese-ner-v1.4.0a2 — модель для распознавания именованных сущностей в текстах на вьетнамском языке. Она опубликована организацией undertheseanlp, связанной с проектом underthesea; репозиторий проекта описывает разработку группой исследователей по обработке вьетнамского естественного языка. Модель реализована как BERT-модель для token classification и предназначена для использования через Hugging Face Transformers с AutoModelForTokenClassification или pipeline("token-classification"). В конфигурации токенизатора указана FPTAI/vibert-base-cased; используется регистрозависимая BERT-токенизация. Поддерживаемая модальность — текст, язык — Vietnamese. Размер файла весов составляет около 459 МБ, однако число параметров, максимальная длина контекста, набор меток сущностей, обучающий датасет и метрики качества в доступной карточке модели не указаны. Сильная сторона модели — специализированная направленность на NER для вьетнамского языка и совместимость с экосистемой PyTorch и Transformers. Ограничения заключаются в отсутствии подробной документации, опубликованных оценок качества и явно описанных границ применимости, поэтому надежность для конкретных доменов и типов сущностей по доступным данным установить нельзя. Модель распространяется по лицензии Apache-2.0.

Porameht/wangchanberta-thainer-corpus-v2-2 — модель на основе WangchanBERTa, дообученная на наборе pythainlp/thainer-corpus-v2.2 для классификации токенов в тайском тексте. Она предназначена для извлечения именованных сущностей и другой разметки последовательностей с помощью Transformers. Архитектура — CamemBERT для классификации токенов, размер — 132,5 млн параметров, контекст — до 512 токенов. В проверке на валидационной выборке указаны F1 0,8575, точность 0,8300 и полнота 0,8870. Лицензия в предоставленных данных не указана.

XLMR Token Classifier for Term Extraction — дообученная авторами модель XLM-RoBERTa для извлечения терминов из английского текста. Она выполняет токенную классификацию: каждому токену присваивается метка, например B-Term, I-Term, BN-Term, IN-Term или O, чтобы выделить термины, в том числе вложенные. Модель предназначена для извлечения терминологии в разных предметных областях и может применяться для распознавания именованных сущностей и извлечения информации. Её обучали на английской версии ACTER: на материалах по коррупции и ветроэнергетике, проверяли на текстах об иппотерапии, а оценивали на материалах о сердечной недостаточности. В метаданных указаны архитектура XLM-RoBERTa, 305,2 млн параметров, контекст до 514 токенов и формат PyTorch. Результаты оценки основаны на точном совпадении извлечённых строк с эталонными терминами; качество на других языках и предметных областях из этих сведений не следует. Лицензия — MIT.

Модель cartesinus/xlm-r-base-amazon-massive-slot — дообученная cartesinus модель XLM-RoBERTa-base для разметки слотов в текстах. Она обучена на наборе данных MASSIVE 1.1 и использует архитектуру XLMRobertaForTokenClassification. Модель принимает текст и присваивает метки отдельным токенам, помогая извлекать из пользовательских высказываний значения, относящиеся к слотам в сценариях понимания естественного языка. На тестовой выборке указаны F1 0,8405, точность 0,8144, полнота 0,8683 и accuracy 0,9333. Параметры модели сохранены в форматах PyTorch и Safetensors; размер составляет около 305,2 млн параметров, длина контекста — 514 токенов. Карточка помечена языком en, но XLM-RoBERTa — многоязычная базовая модель, поэтому явно подтверждённая поддержка отдельных языков для этой версии ограничена сведениями карточки. Лицензия — MIT.

creemur/xlm-roberta-base-finetuned-panx-de-en — модель XLM-RoBERTa, дообученная для классификации токенов. Она содержит 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Суффикс panx-de-en указывает на связь с задачей распознавания сущностей на немецком и английском языках, однако README не раскрывает назначение модели и обучающий набор, поэтому эту специализацию нельзя подтвердить по карточке. Модель построена на базе FacebookAI/xlm-roberta-base и использует архитектуру XLMRobertaForTokenClassification. В README приведены метрики оценки: loss 0,4120 и F1 0,6947. Лицензия — MIT. Данных о специальных ограничениях и сценариях применения карточка не содержит.

Это дообученная версия FacebookAI/xlm-roberta-large от khadija69 для классификации токенов. Модель размечает последовательность текста по токенам; обозначение BIES в названии может указывать на схему меток, но README не описывает её назначение и классы.

nextgeo/address-extraction — модель для извлечения адресов из турецкого текста, разработанная на основе dbmdz/bert-base-turkish-cased. Это дообученный BERT-энкодер с архитектурой BertForTokenClassification; модель размечает токены для задачи извлечения адресных данных и рассчитана на обработку текста длиной до 512 токенов. Модель обучена на собственном наборе адресов разработчика, который не включён в репозиторий. README описывает запуск предсказания для одного адреса; указано, что среда настроена для CUDA, но должна работать и без GPU. Модель распространяется по лицензии MIT.

Applied NER Stage 4 — Improved BERT Tiny — это компактная англоязычная модель распознавания именованных сущностей, разработанная THemidli. Она дообучена на базе google/bert_uncased_L-2_H-128_A-2 и классифицирует токены по восьми классам: PERSON, ORGANIZATION, LOCATION, TIMEDATE, PRODUCT, WORKOFART, JOB и AMOUNT, используя BIO-разметку. Модель предназначена для извлечения людей, организаций, мест, дат и времени, товаров, произведений, должностей и денежных сумм из английского текста. Архитектура — двухслойный BERT с 4,4 млн параметров; максимальный контекст по метаданным составляет 512 токенов. В README приведены тестовый F1 0,471 и F1 0,585 на 40 вручную размеченных примерах; автор характеризует её как компактный базовый вариант, а не промышленную систему. Модель распространяется по лицензии Apache-2.0.

Banking SMS JSON Parser V8 — модель на архитектуре GPT-2, предназначенная для преобразования SMS индийских банков в структурированный JSON. Она различает транзакционные и нетранзакционные сообщения, извлекает сумму, дату, тип операции и последние четыре цифры карты или счёта, а также относит операции к более чем 32 категориям. Указана поддержка сообщений об операциях UPI, NEFT, RTGS и по картам; обучение проводилось на синтетическом наборе из 60 000 примеров с реалистичными шаблонами сообщений крупных индийских банков. Модель принимает текст и генерирует текст JSON. Контекст составляет 1 024 токена. Опубликована в формате safetensors, использует библиотеку Transformers и распространяется по лицензии MIT. Карточка заявляет оптимизацию для индийских банковских SMS, но не приводит численных метрик качества; результаты на других языках и типах сообщений не описаны.

BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext_pub_section — модель классификации текста, разработанная на основе PubMedBERT и дообученная для определения разделов биомедицинских документов. Она присваивает тексту одну из пяти меток: BACKGROUND, CONCLUSIONS, METHODS, OBJECTIVE или RESULTS. Модель построена на архитектуре BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она предназначена для классификации разделов аннотаций и полнотекстовых публикаций в биомедицинской области. В карточке указаны результаты на тестовой выборке: accuracy 0,858 и F1 0,857. Модель работает с английским текстом. Для длинных документов текст может потребоваться разделить на фрагменты, а качество на материалах иного типа или вне биомедицинской тематики не подтверждено приведёнными метриками. Лицензия — Apache-2.0.

CapRL-Eval-3B — мультимодальная модель InternLM для ответов на вопросы по подписям к изображениям. Это дообученная версия Qwen2.5-VL-3B на основе подхода CapRL, который использует обучение с подкреплением и проверяемыми наградами; в карточке указаны архитектура Qwen2.5-VL и 3,1 млрд параметров. Модель принимает изображения и текст, формирует текстовые ответы и рассчитана на контекст до 128 000 токенов. Модель предназначена для визуальных вопросов и ответов, включая задачи по диаграммам, инфографике и документам; README отмечает более устойчивое форматирование ответов в ChartQA. Обучение на тщательно отфильтрованном наборе из 75 тысяч пар вопросов и ответов направлено на подробные и структурированные описания изображений с меньшим числом галлюцинаций. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0. Заявления о сравнении качества с крупными моделями приведены авторами и не являются независимой оценкой.

Case-law block tagger — модель токеновой классификации от Free Law Project для разметки структуры мнений судов США. Она принимает OCR-текст одного дела в минимальном HTML-представлении и выделяет символьные фрагменты с именами сторон, номером дела, судом, адвокатами, судьями, датами, историей дела, резолютивной частью, автором и заголовками. Обычный текст мнения относится к метке O; модель выдаёт BIO-метки и не генерирует текст. Модель построена на ModernBERT-large с 394,7 млн параметров и дообучена на CaseLawModernBERT-large, предварительно обученной на корпусе судебных мнений США. Контекст составляет 8192 токена. Обучение проводилось на OCR-материалах американских судебных репортёров с разметкой человеком и проверкой человеком; на отложенном тестовом наборе строгая span-F1 составила 0,937. Модель рассчитана на структурирование сканов судебных сборников, а также цифровых текстов, сериализованных в ожидаемом формате. Модель поддерживает английский язык и особенно хорошо извлекает поля судебной «шапки». Её точность снижается на незнакомых форматах репортёров и строках с судьями, а классы otherdate и disposition имеют более слабые результаты. Ввод следует ограничивать одним делом, не более 8 тысяч токенов, удалять сноски и сохранять каноническую HTML-сериализацию; цитаты модель не размечает. Лицензия — Apache-2.0.