I.3Извлечение и структурирование данных

RobBERT-v2 Dutch Base — созданная исследовательской группой RobBERT предварительно обученная языковая модель для нидерландского языка на архитектуре RoBERTa. Она содержит 144 млн параметров, обучена на нидерландском токенизаторе и корпусах и поддерживает контекст до 514 токенов. Модель предсказывает замаскированные токены и служит основой для дообучения под классификацию текста, регрессию и разметку токенов. Модель применялась для анализа тональности и эмоций, распознавания именованных сущностей, разрешения кореференции, тегирования частей речи, обнаружения юмора и кибербуллинга, а также исправления орфографических ошибок. Карточка сообщает о сильных результатах на ряде нидерландских задач, в том числе при малом объеме данных. Доступны веса в форматах PyTorch, TensorFlow, Flax и safetensors. Лицензия — MIT. В статье об исследовании отмечены возможные гендерные смещения: модель чаще предпочитает местоимение «он» в шаблонах с названиями профессий и точность определения тональности может различаться в зависимости от указанного пола автора отзыва. Для прикладных задач классификации и разметки требуется дообучение на соответствующих данных.

Модель surrey-nlp/roberta-base-finetuned-abbr — дообученная Surrey NLP версия RoBERTa для разметки токенов и обнаружения сокращений в английском тексте. Она основана на FacebookAI/roberta-base, содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучена на наборе PLOD-filtered; в карточке приведены результаты на оценочной выборке: F1 0,9614, точность 0,9645 и полнота 0,9583. Модель подходит для автоматического выявления сокращений в предложениях и подготовки последовательной разметки текста. Это англоязычная RoBERTa с архитектурой RobertaForTokenClassification; доступны форматы PyTorch и TensorFlow. Лицензия — MIT. Показатели из карточки относятся к указанной оценочной выборке и не гарантируют такое же качество на других текстах.

Mjolnirslams/roberta-base-squad2-cuad — англоязычная модель извлечения ответов на основе RoBERTa-base, разработанная для выделения фрагментов коммерческих договоров. Она дообучена на CUAD v1 — наборе из 510 договоров с 41 категорией условий, размеченных юристами. В конвейере Verity модель извлекает дословный текст положения и его символьные смещения после того, как отдельный классификатор определит категорию. Модель содержит 151,8 млн параметров, использует архитектуру RobertaForQuestionAnswering и принимает контекст до 514 токенов. Для получения качественных результатов на вход следует подавать исходные вопросы категорий CUAD: свободная формулировка вопроса снижает точность. На отложенной выборке из 51 договора указаны macro F1 0,73 для обрезанных фрагментов и 0,83 для полных, а macro EM — 0,81; авторы отмечают, что разбиение отличается от используемого в других работах. Модель предназначена для извлечения условий договоров, а не для общих юридических вопросов. Данные CUAD преимущественно охватывают коммерческие договоры США, поэтому качество на договорах других юрисдикций и слабо представленных типов неизвестно; кроме того, за один проход модель предсказывает один непрерывный фрагмент, что ограничивает полноту для разнесённых условий. Лицензия — CC BY 4.0.

Модель dennlinger/roberta-cls-consec разработана для обнаружения тематических переходов в документах. Это дообученная RoBERTa-base с архитектурой RobertaForSequenceClassification и примерно 151,8 млн параметров. Она принимает два текстовых фрагмента, разделённых токеном [SEP], и определяет, относятся ли они к одной теме. На основе последовательных оценок пар абзацев можно сегментировать документ на тематические разделы. Модель обучалась на примерах из условий предоставления услуг; в обучающей постановке использовались целые абзацы и последовательности длиной до 512 токенов. Для новостных статей, Википедии и других общих текстов качество может быть низким. Модель не предназначена для классификации отдельного текста. Доступны веса в форматах PyTorch, Flax и safetensors; загрузка поддерживается через Transformers pipeline. Лицензия в предоставленных данных не указана.

Модель Surrey NLP — англоязычная RoBERTa-large, дообученная на наборе PLOD-Unfiltered для разметки последовательностей и обнаружения аббревиатур в тексте. Она присваивает метки токенам, помогая находить аббревиатуры и их контекстные формы. Модель содержит 454,1 млн параметров, использует архитектуру RoBERTa с классификационной головой для токенов и принимает последовательности длиной до 514 токенов. Доступны веса PyTorch и TensorFlow. На оценочной выборке указаны F1 0,9645, точность 0,9663 и полнота 0,9627. Модель рассчитана на английский язык и не предназначена для генерации текста; качество на иных доменах и языках может отличаться. Лицензия — MIT.

Evolett/rubert-tiny2-finetuned-ner — модель семейства BERT, разработанная автором репозитория и обученная с нуля для распознавания именованных сущностей. Она классифицирует токены текста; карточка указывает датасет CoNLL-2003. В метаданных указаны 29 млн параметров, контекст до 2048 токенов и формат PyTorch. На оценочной выборке модель показала F1 0,7203, точность 0,7137, полноту 0,7271 и accuracy 0,9363. Она подходит для извлечения сущностей из текста и экспериментов с NER, однако метрики указывают на ограниченное качество, а сведения о целевых языках и ограничениях применения в карточке отсутствуют. Лицензия в предоставленных данных не указана.

Stanza для турецкого языка — модель из набора инструментов Stanford NLP для лингвистического анализа текста. Она предназначена для разметки токенов и может использоваться в конвейерах анализа турецкого текста, включая синтаксический анализ и распознавание сущностей. Библиотека Stanza предоставляет инструменты для перехода от исходного текста к лингвистическому анализу. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не сообщает размер модели и длину контекста, поэтому эти характеристики здесь не приводятся.

ta_PP-OCRv5_mobile_rec — мобильная модель распознавания строк текста из семейства PP-OCRv5_rec, разработанная командой PaddleOCR. Она предназначена для распознавания тамильского текста на изображениях и может использоваться как модуль распознавания в конвейере OCR, который также включает обнаружение строк и, при необходимости, коррекцию ориентации и геометрии изображения. Модель принимает изображения строк и возвращает распознанный текст; в README для неё указана точность 87,65% по строгому критерию, где ошибка в любом символе делает всю строку неверной. Мобильный вариант ориентирован на эффективную работу. Для полного распознавания текста на документе или изображении модель следует применять вместе с детектором текста и другими необходимыми модулями PP-OCRv5. Карточка не сообщает размер модели и длину контекста. Лицензия — Apache-2.0.

Модель asahi417/tner-xlm-roberta-large-bc5cdr — версия XLM-RoBERTa Large, дообученная для распознавания именованных сущностей (NER). Она выполняет токенную классификацию и предназначена для выделения сущностей в тексте; суффикс bc5cdr указывает на вариант из серии TNER, однако карточка не уточняет набор распознаваемых меток. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и рассчитана на контекст до 514 токенов. Репозиторий предоставляет веса PyTorch. Модель подходит для извлечения сущностей из текста, в том числе в исследовательских и прикладных NLP-сценариях. XLM-RoBERTa — многоязычное семейство, но конкретные языки, поддерживаемые именно этим чекпойнтом, в карточке не перечислены. Сведений о лицензии и известных ограничениях в предоставленных данных нет.

Ransaka/TrOCR-Sinhala — дообученная модель распознавания текста на изображениях, основанная на Microsoft TrOCR Printed. Она использует архитектуру vision-encoder-decoder и предназначена для OCR на сингальском языке. В метаданных указан синтетический датасет Ransaka/sinhala_synthetic_ocr-large; модель доступна в формате safetensors. Модель можно применять для извлечения сингальского текста из изображений с печатным текстом. Карточка не описывает подробные сценарии использования и результаты оценки; для оценки качества предлагается обратиться к вкладке с метриками обучения. Лицензия — MIT.

oklenAI разработала дообученную на базе Qwen3.5-2B-Base языковую модель для извлечения математического содержимого из текста веб-страниц. На вход подаётся сырой текст страницы, на выходе модель дословно воспроизводит математические фрагменты; если содержательной математики нет, допустим пустой ответ. Модель предназначена прежде всего для английских веб-страниц с математическим содержанием и извлечения формул и связанных с ними фрагментов при подготовке данных или обработке корпуса страниц. Это плотная авторегрессионная модель Qwen3.5 с 1,7 млрд параметров, работающая через Transformers. В метаданных указано контекстное окно до 262 144 токенов; обучение этой версии охватывало последовательности до 57 344 токенов. На длинных страницах свыше 20 000 символов согласие по charF1 с ответами GPT-5.6 составляет 0,8668; это измеряет сходство с учителем, а не фактическую правильность извлечения. Лицензия — Apache-2.0. Длинные страницы остаются сложнее коротких: charF1 для них ниже (0,8668 против 0,9454), а на страницах свыше примерно 50 000 символов модель не проверялась. Есть риск пропуска содержимого и избыточного воспроизведения формульных токенов; поведение на других языках, в других областях и на страницах без математики изучено ограниченно. Выход масштабируется вместе с длиной входа, поэтому при генерации нужно подбирать max_new_tokens под размер страницы.

tanfiona/unicausal-seq-baseline — модель классификации предложений по причинно-следственной связи. Она присваивает тексту метку LABEL_0 для неп причинного и LABEL_1 для причинного предложения. Модель построена на архитектуре BERT и имеет 135,5 млн параметров; заявленный контекст составляет до 512 токенов. В карточке указано, что модель обучена на нескольких наборах данных. Модель предназначена для автоматической разметки предложений как причинных или неп причинных, например, при анализе текстовых коллекций. Она принимает текст и выдаёт метку класса. Репозиторий содержит веса PyTorch; лицензия в метаданных обозначена как unknown, поэтому условия использования по карточке определить нельзя.

Это быстрая модель разметки частей речи для английского языка, поставляемая вместе с библиотекой Flair. Она предсказывает универсальные POS-теги для слов в предложении и обучена на датасете OntoNotes. Архитектура сочетает Flair embeddings и LSTM-CRF; в README указан F1-score 98,47 на OntoNotes. Модель предназначена для морфосинтаксической разметки английского текста в NLP-конвейерах, например для подготовки корпусов и извлечения грамматических признаков. Она работает в формате PyTorch и используется через Flair. Сведения о лицензии и ограничениях применения в предоставленных материалах отсутствуют.

1T разработала Veil PII KO Lite — модель для обнаружения и классификации персональных данных в корейском тексте. Это дообученная KoELECTRA-base-v3 с архитектурой ELECTRA и 32 категориями PII; модель содержит 140,1 млн параметров и обрабатывает до 512 токенов за окно. Репозиторий включает веса Safetensors и оптимизированный для CPU формат ONNX INT8. Модель предназначена для локального обнаружения и маскирования персональных данных в диалогах и документах, в том числе в изолированных on-premise-средах. README сообщает о высоких результатах на тестах корейских диалогов и данных BCCard; длинные тексты обрабатываются скользящими окнами с перекрытием. По карточке заявлена поддержка корейского и английского языков. Качество может снижаться для имён, адресов и организаций, требующих контекстного анализа, а также для нестандартно записанных идентификаторов: например, удаление разделителей в телефонном номере заметно ухудшает F1, а пробелы между символами модель пока обрабатывает ненадёжно. Для таких входных данных README рекомендует при необходимости добавить правила на основе регулярных выражений. Лицензия — Apache-2.0.

Модель XLMRoberta-Alexa-Intents-NER-NLU разработана Yanis LABRAK из NLP-команды Университета Авиньона. Это модель классификации токенов на базе XLM-RoBERTa, дообученная для разметки слотов в коротких запросах к голосовому помощнику. Она выделяет в тексте сущности и атрибуты, например даты, время, имена исполнителей, названия приложений, блюд и мест; набор меток включает 55 типов слотов и метку O. Модель обучена на MASSIVE — параллельном наборе более чем из миллиона высказываний на 51 языке, предназначенном для понимания запросов голосовых помощников. В карточке указаны 305,2 млн параметров, контекст до 514 токенов и формат PyTorch. Лицензия — CC BY 4.0. По описанию модели её назначение — разметка слотов; результаты для классификации намерений в README не приведены.

DeepaPeri/xlm-roberta-base-en-5 — дообученная на неизвестном наборе данных многоязычная XLM-RoBERTa для классификации токенов. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForTokenClassification и принимает текст с контекстом до 514 токенов. Она предназначена для разметки отдельных токенов в тексте. На тестовом наборе указаны loss 0,3224 и F1 0,8310, однако описание задачи разметки, состав набора данных и подробности оценки не приведены. Модель основана на FacebookAI/xlm-roberta-base и распространяется по лицензии MIT.

im-shriram/xlm-roberta-base-finetuned-panx-de — модель XLM-RoBERTa, дообученная на базе FacebookAI/xlm-roberta-base для классификации токенов. Название указывает на настройку для немецкой версии задачи PAN-X, однако README сообщает, что обучающий набор данных неизвестен, поэтому назначение для немецкого PAN-X следует считать предположительным. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForTokenClassification и принимает текст, возвращая метки для его токенов. Максимальная длина контекста — 514 токенов. В README указаны результаты оценки: loss 0,2740 и F1 0,8584; сведений о наборе оценки и разбиении недостаточно, чтобы интерпретировать эти показатели шире. Модель распространяется по лицензии MIT. Карточка не описывает ограничения применения и не приводит подробностей обучения.

Модель tner/xlm-roberta-base-uncased-bc5cdr — вариант XLM-RoBERTa, дообученный для распознавания именованных сущностей (NER) в биомедицинских текстах набора BC5CDR. Она предназначена для токенной разметки упоминаний химических веществ и заболеваний, например при извлечении сущностей из научных аннотаций. Модель основана на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров; максимальный контекст — 514 токенов. Репозиторий содержит веса PyTorch. Модель принимает текст и размечает его токены, поэтому её можно использовать для извлечения биомедицинских сущностей из документов и подготовки данных для последующего анализа. README указывает на дообучение XLM-RoBERTa для NER и отсылает за подробностями к проекту TNER. Сведения о лицензии в доступных материалах отсутствуют.

AffilGood-AffilRoBERTa — англоязычная модель на архитектуре RoBERTa, разработанная для работы со строками аффилиаций организаций. Авторы дополнительно обучили RoBERTa предсказывать замаскированные токены на 10 миллионах строк аффилиаций из OpenAlex, чтобы адаптировать языковую модель к их характерной структуре. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Основная задача модели — восстановление замаскированных токенов в строках аффилиаций. Такая адаптация служит основой для задач распознавания именованных сущностей и выделения фрагментов аффилиаций; в описанной оценке модель показала F1 0,920 для NER и 0,938 для выделения фрагментов. Репозиторий предоставляет веса в формате Safetensors. Модель выпущена под лицензией Apache 2.0. В README отмечены возможные смещения и нежелательные искажения, поэтому результаты применения следует проверять.

RetrievaBERT — предварительно обученный энкодерный Transformer от Retrieva, Inc., созданный на основе архитектуры MegatronBERT и предназначенный прежде всего для японского языка. Модель содержит 1,3 млрд параметров, 48 слоёв, скрытый размер 1536 и контекст до 2048 токенов. В архитектуре используются PreNorm, SwiGLU и Grouped-Query Attention; при предобучении применялась только задача Masked Language Modeling, без Next Sentence Prediction. Модель можно использовать для заполнения масок, а также дообучать для классификации текста, разметки токенов, ответов на вопросы и других downstream-задач. В карточке приведены оценки дообученных вариантов на JGLUE, но они не являются оценками исходного чекпойнта. Модель поддерживает японский и, дополнительно, английский язык; файлы опубликованы в формате Safetensors. Лицензия — Apache 2.0.

CKIP Lab разработала модель на базе BERT для сегментации слов на традиционном китайском языке. Она размечает входной текст по токенам и предназначена для применения в NLP-конвейерах, где требуется разделить китайскую строку на слова перед дальнейшим анализом. В репозитории представлены веса PyTorch и Flax; для токенизации автор рекомендует BertTokenizerFast. Модель содержит около 129,5 млн параметров и поддерживает контекст до 512 токенов. Модель рассчитана на сегментацию текста на традиционном китайском языке. README проекта также упоминает инструменты CKIP для разметки частей речи и распознавания именованных сущностей, но эти задачи не заявлены как возможности именно данного чекпойнта. Лицензия модели — GPL-3.0.

BETO — испаноязычная модель семейства BERT, разработанная исследователями Университета Чили (DCC UChile) и обученная на большом корпусе текстов на испанском языке. Эта версия сохраняет регистр букв и использует Whole Word Masking. Модель имеет около 137,1 млн параметров, словарь примерно из 31 тысячи BPE-подслов на основе SentencePiece и контекст до 512 токенов; веса доступны в форматах PyTorch, TensorFlow и Flax. Модель предназначена для предсказания замаскированных слов в испанском тексте и может служить основой для дообучения под задачи обработки испанского языка. В карточке приведены результаты бенчмарков BETO для разметки частей речи, распознавания именованных сущностей и классификации текстов; эти сценарии требуют соответствующей настройки модели. В README не указана лицензия, поэтому условия использования следует проверить в репозитории модели.

boltuix/bert-medium — англоязычная модель BoltUIX на архитектуре BERT, дообученная на основе google/bert-base-uncased. Модель содержит 49,2 млн параметров, использует маскированное языковое моделирование и имеет контекстное окно 512 токенов. По карточке, при предобучении использовались BookCorpus и английская Википедия; модель доступна в формате safetensors и распространяется по лицензии MIT. Основная задача модели — восстановление замаскированных слов в тексте. Её также предлагают дообучать для классификации последовательностей и токенов, ответов на вопросы и распознавания текстовых следствий. BERT кодирует текст и не предназначен для генерации связного текста; карточка отмечает ограничения для неанглийских задач и возможные смещения, унаследованные от обучающих данных.

muhtasham/bert-small-finetuned-cuad — компактная модель BERT, дообученная на части набора CUAD для ответов на вопросы по юридическим документам. Она принимает вопрос и текст документа и извлекает из него ответ в формате задачи question answering. Модель основана на google/bert_uncased_L-4_H-512_A-8, содержит 32,4 млн параметров и имеет контекст до 512 токенов. При обучении использованы первые 10% обучающей и первые 10% тестовой выборок CUAD, поэтому покрытие данных ограничено. Доступны веса PyTorch; лицензия — Apache-2.0.

busecarik/berturk-sunlp-ner-turkish — модель распознавания именованных сущностей, созданная дообучением BERTurk-cased на наборе SUNLP-NER-Twitter. Она предназначена для извлечения из турецких твитов упоминаний людей, мест, организаций, времени, денежных сумм, продуктов и телешоу. Архитектура — BERT для классификации токенов, размер — 211,6 млн параметров, максимальная длина контекста — 512 токенов; доступны веса PyTorch и TensorFlow. На тестовой выборке SUNLP-NER-Twitter модель показала общий F1 82,69 по метрике seqeval. Лучше всего она распознаёт имена людей и временные выражения; качество для продуктов и телешоу заметно ниже. Обучение на 5000 твитов ограничивает надёжность переноса на другие жанры и домены. Лицензия в предоставленных данных не указана.

BidirLM-0.6B-Base — промежуточная модель семейства BidirLM, созданная командой BidirLM на основе Qwen3-0.6B-Base. Авторы преобразовали причинное внимание базовой модели в двунаправленное, обучили её методом Masked Next Token Prediction на 30 млрд токенов из многопрофильного корпуса и объединили полученные веса с исходными весами Qwen3 в пропорции 50/50. Модель содержит около 508 млн параметров, имеет плотную архитектуру BidirLMForMaskedLM и контекст до 40 960 токенов. Модель предназначена для заполнения пропусков и как промежуточная основа для дообучения под последующие задачи обработки текста. Для получения общих эмбеддингов авторы рекомендуют вариант BidirLM-0.6B-Embedding с дополнительным контрастивным обучением. Метаданные также отмечают возможности классификации текста и токенов, а также интерфейсы чата и вызова инструментов. Модель поддерживает многоязычный текст; среди языков карточки указаны арабский, болгарский, бенгальский, китайский? Нет, карточка перечисляет языки, включая английский, немецкий, французский, испанский, японский, корейский и хинди. Для загрузки требуется Transformers с trust_remote_code=True; исходная версия обучалась на Transformers 4.57.6, а текущая версия карточки адаптирована для Transformers 5 и выше. Лицензия — Apache-2.0.

BioBERT Disease NER — модель распознавания именованных сущностей, разработанная Ishan0612 и дообученная на BioBERT для извлечения упоминаний заболеваний из биомедицинских текстов. Она основана на архитектуре BERT и содержит 135,5 млн параметров; модель работает с текстом и поддерживает контекст длиной до 512 токенов. Модель обучена на датасете NCBI Disease, включающем более 6 800 размеченных упоминаний из 793 аннотаций PubMed. В README указаны точность 86,80%, полнота 91,39% и F1-мера 89,04%. Модель предназначена для извлечения заболеваний из англоязычных научных и биомедицинских текстов. Распространяется по лицензии Apache-2.0.

CeLLaTe-ner-2class — англоязычная модель на архитектуре BERT для классификации токенов в биомедицинском тексте. Она дообучена на Mardiyyah/CeLLaTe-tapt-pubmedbert-tokenizer-adapted-spanmask с набором OTAR3088/CeLLaTe-ner-2class-iob_final и предназначена для извлечения сущностей с разметкой IOB в задаче NER. Модель содержит 138,2 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате Safetensors через Transformers. На оценочном наборе указаны micro F1 0,755, macro F1 0,7691 и точность 0,9837. Высокая точность при более умеренных показателях F1 означает, что для практического применения качество извлечения стоит проверять на целевых текстах. Лицензия — Apache-2.0.

CeLLaTe-ner-2class-tapt-pubmedbert-tokenizer-adapted-spanmask — англоязычная модель для классификации токенов, разработанная Mardiyyah. Это дообученная на наборе OTAR3088/CeLLaTe-ner-2class-iob_final модель CeLLaTe-tapt-pubmedbert-tokenizer-adapted-spanmask на архитектуре BERT; она предназначена для разметки последовательностей в биомедицинских текстах. Модель содержит 138,2 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки токенов. На оценочном наборе указаны micro F1 0,7588 и accuracy 0,9839. Распространяется по лицензии Apache-2.0.

CeLLaTe-ner-bioformer16l-tapt-tokenizer-adapted-v2 — дообученная Mardiyyah модель для разметки именованных сущностей в английском тексте. Она основана на BERT-архитектуре и содержит 50,8 млн параметров; использует токенизатор, адаптированный для базовой модели CeLLaTe. Модель обучена на наборе Mardiyyah/CeLLaTe-ner-2class-iob и предназначена для присвоения меток отдельным токенам, в том числе в биомедицинских текстах. В карточке приведены результаты оценки: F1 0,759, точность 0,7488, полнота 0,7695 и accuracy 0,9821. Контекст составляет до 1024 токенов. Распространяется по лицензии Apache-2.0. Карточка не описывает классы сущностей и ограничения применения, поэтому результаты на других наборах данных могут отличаться.