I.3Извлечение и структурирование данных

Immerwinter/gbert-large-privacy-policy-content-legalbasis — дообученная модель классификации текста на основе немецкоязычной BERT-модели deepset/gbert-large. Она предназначена для отнесения фрагментов политики конфиденциальности к категории LegalBasis — правовому основанию обработки данных; README помещает её в набор моделей для анализа содержания таких документов. Модель содержит 434,5 млн параметров, использует архитектуру BERT и принимает последовательности длиной до 512 токенов. Репозиторий включает форматы ONNX и safetensors. Лицензия — Apache-2.0.

mlx-community/GOT-OCR2_0-bf16 — конверсия модели GOT-OCR 2.0 в формат MLX с точностью bfloat16 для инференса на компьютерах Apple Silicon. Она предназначена для распознавания текста на изображениях документов: простой транскрипции по инструкции «OCR: » и структурированного вывода таблиц, формул и нот по инструкции «OCR with format: ». Это плотная мультимодальная модель семейства GOT; метаданные указывают 463,8 млн параметров и контекст 32 768 токенов, а README описывает исходную модель как 560-миллионную. Русский язык и качество за пределами английских синтетических примеров в карточке не проверялись. На шести синтетических англоязычных документах обычный режим OCR показал точное извлечение 86,84% полей и 96,05% содержимого; одна и та же часть полей транспортной накладной терялась во всех вариантах точности. Режим структурированного вывода запускался, но его точность не оценивалась. Карточка также не проверяет фотографии, рукописный текст, многостраничный и многокроповый режимы. Указана лицензия Apache-2.0; для загрузки требуется версия mlx-vlm с поддержкой GOT-OCR 2.0, которая, согласно README, ещё не вошла в релиз на момент публикации карточки.

IceBERT-ner — модель для распознавания именованных сущностей в исландском тексте. Её разработчик дообучил vesteinn/IceBERT, модель семейства RoBERTa, на наборе данных mim_gold_ner. Модель содержит 151,6 млн параметров, принимает текст и выдаёт метки для его токенов; максимальная длина контекста — 514 токенов. На оценочной выборке модель показала F1 0,9396, точность 0,9352, полноту 0,9440 и accuracy 0,9920. Она подходит для автоматической разметки сущностей в исландских текстах; результаты могут отличаться на данных из других источников и жанров. Лицензия — GPL-3.0.

joon09/kor-naver-ner-name-v2 — модель на базе BERT для классификации токенов. Она предназначена для извлечения именованных сущностей из корейского текста; карточка сообщает, что модель обучена с нуля, но не описывает обучающий набор данных и результаты оценки. Модель содержит 145,5 млн параметров, принимает последовательности длиной до 512 токенов и опубликована в формате PyTorch. Для применения передайте корейский текст и используйте предсказанные метки токенов для поиска сущностей типа имени. Карточка не уточняет схему меток и качество распознавания. Лицензия в доступных данных не указана.

townboy разработал BERT-модель токенной классификации для обнаружения 33 типов персональных данных в корейских текстах. Модель дообучена на KPF/KPF-bert-ner и выдаёт BIO-разметку, которую можно преобразовать в символьные диапазоны PII. Она содержит 141,2 млн параметров и рассчитана на последовательности длиной до 512 токенов. Модель предназначена для извлечения персональных данных из корейских предложений и документов, включая имена, адреса, электронную почту и идентификационные номера. На синтетическом независимом наборе из 1 320 документов автор получил micro-F1 0,8643; validation micro-F1 составил 0,996463, но он измерялся на менее строгих условиях. Для структурированных 13-значных корейских идентификационных номеров README рекомендует отдельную нормализацию и проверку контрольной суммы. Модель распространяется по MIT License вместе с оговоркой, что перед использованием и распространением нужно проверить актуальные условия лицензии базовой модели. Синтетический характер обучающих и оценочных данных ограничивает переносимость результатов на реальные документы и рабочие домены.

LFM2-350M-PII-Extract-JP — дообученная Liquid AI компактная плотная языковая модель семейства LFM2 для извлечения персональных данных из японского текста. Она находит адреса, названия компаний и организаций, адреса электронной почты, имена людей и номера телефонов и возвращает их в JSON, сохраняя написание из исходного текста. Модель предназначена для подготовки документов к маскированию чувствительных данных, в том числе локально на устройстве; в карточке указаны 444,6 млн параметров, контекст до 128 000 токенов и поддержка чата. Для работы требуется системный промпт с категориями сущностей, перечисленными в алфавитном порядке; рекомендуются жадное декодирование и temperature=0. Модель рассчитана на один ход диалога и принимает текст, выдавая текст с JSON-структурой. Она ориентирована на японский язык. Карточка сообщает о сравнении на выборке из 1 000 фрагментов, но это не гарантирует качество на других данных. Извлечение специальных идентификаторов организаций, дат рождения и номеров паспортов не заявлено; качество по отдельным категориям может требовать улучшения. Лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

unsloth/LFM2.5-1.2B-Instruct — версия инструкционной модели Liquid AI, опубликованная Unsloth с исправлениями шаблона чата. Это компактная плотная языковая модель семейства LFM2: в README указано 1,17 млрд параметров и гибридная архитектура из 10 блоков LIV с двойной маршрутизацией и 6 блоков GQA. Модель принимает и генерирует текст; она рассчитана на локальный запуск на устройствах и поддерживает контекст до 32 768 токенов по README, тогда как метаданные указывают 128 000 токенов. Модель предназначена для диалогов общего назначения, агентных сценариев с вызовом инструментов, извлечения данных и ответов с опорой на документы в RAG. В карточке перечислены английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. README не рекомендует использовать её для задач, требующих обширных знаний, и программирования. Репозиторий содержит веса в формате safetensors и использует лицензию, обозначенную в метаданных как other; конкретные условия лицензии следует сверить с карточкой модели.

somukandula/maskara-tiny — дообученная модель семейства BERT для классификации токенов. Она размечает в тексте фрагменты, соответствующие персональным данным: среди оценивавшихся категорий указаны имена, адреса, телефоны, электронная почта, IP-адреса, пароли, номера документов и платёжные реквизиты, включая Aadhaar, PAN и UPI ID. Модель может применяться для поиска и разметки чувствительных данных в текстах. Модель содержит 25,9 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. На приведённой в карточке оценке общий F1 составил 0,8172; результаты заметно различаются по категориям, а для кредитных карт, паролей, SSN и паспортов F1 равен 0. Данные обучения и языки не описаны, поэтому качество для конкретного языка и домена по карточке установить нельзя. Лицензия — MIT.

Masker v2 — многоязычный классификатор токенов, разработанный Divergent Labs для обнаружения контекстных персональных данных в тексте и использования в системах редактирования и обезличивания. Модель дообучена на базе microsoft/mdeberta-v3-base и принимает текст, присваивая токенам BIOES-метки 12 типов сущностей: имена и фамилии, города, улицы, номера зданий, почтовые индексы, телефоны, электронную почту, банковские карты, даты, возраст и государственные идентификаторы. Для IBAN и ряда других структурированных данных README описывает отдельный слой правил, который не входит в эту модель. Модель рассчитана на тексты на 23 европейских языках и использует архитектуру DeBERTa-v3. В карточке указано 306 млн параметров и контекст 512 токенов; README приводит оценку 278 млн параметров. В версии v2 улучшено распознавание имён в естественном тексте благодаря расширению форм имён и добавлению размеченных корпусов. По оценке на английских юридических документах и нидерландских новостях качество распознавания имён высокое, однако эти тесты не охватывают остальные языки. Лицензия — Apache-2.0.

Это дообученная модель khadija69/mdeberta_ASE_kgl_large для классификации токенов. Она основана на DeBERTa-v2, содержит около 306 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате TensorFlow. В README указаны результаты обучения: эпоха 5, train loss 0,0984 и validation loss 0,2237. Модель предназначена для разметки отдельных токенов в тексте; конкретная схема меток и целевой сценарий не описаны. Лицензия — MIT.

Карточка модели MemTensor/MemOperator-4B на Hugging Face совпадает с карточкой MemTensor/MemOperator-0.6B, поэтому описание составлено по ней. MemOperator-0.6B — компактная причинно-следственная языковая модель MemTensor для операций с памятью в системе MemOS. Она дообучена методом SFT на основе моделей Qwen3 и предназначена для локального развертывания, в том числе в средах без доступа к интернету, с низкими затратами ресурсов и малой задержкой. В метаданных указана связь слияния с Qwen/Qwen3-0.6B, Qwen/Qwen3-1.7B и Qwen/Qwen3-4B; архитектура — плотная decoder-only модель Qwen3 с примерно 507,9 млн параметров. Для этой версии указан контекст до 40 960 токенов. Модель извлекает сведения из диалогов и документов, в том числе составляет краткие сводки фрагментов документов, а также поддерживает кластеризацию и реорганизацию связанных воспоминаний. Карточка заявляет поддержку английского и китайского языков и приводит результаты семейства MemOperator на бенчмарке locomo, но таблица содержит сравнение только версии 4B; переносить эти показатели на версию 0.6B нельзя. Разрешены загрузка через Transformers и использование с vLLM или SGLang; лицензия — Apache-2.0. Разрешение конфликтов и рассуждение об отношениях в README обозначены как находящиеся в разработке.

Metis-8B-RL — мультимодальный агент для рассуждений по тексту и изображениям, разработанный Accio-Lab в рамках фреймворка Metis. Это финальный чекпойнт обучения с подкреплением по алгоритму Hierarchical Decoupled Policy Optimization (HDPO), обученный на основе Metis-8B-ColdStart; метаданные также связывают модель с Qwen3-VL-8B-Instruct. Модель ведёт многоходовый диалог и выбирает, когда задействовать инструменты выполнения кода, текстового поиска и поиска изображений. Модель предназначена для визуального рассуждения, понимания документов, математических и логических задач с изображениями и текстом, а также для агентных сценариев с выборочным использованием инструментов. В README заявлено снижение доли вызовов инструментов с 98% до 2% и высокие результаты на 13 бенчмарках открытых агентных моделей с 8 млрд параметров. Архитектура — плотная Qwen3-VL для условной генерации; веса опубликованы в safetensors и используются через Transformers. Метаданные указывают английский язык. Лицензия — Apache-2.0. Для полного запуска требуются внешние инструменты и зависимости, описанные в проекте; приведённые в карточке заявления о качестве основаны на бенчмарках разработчиков.

Maarif Sariyev разработал англоязычную модель распознавания именованных сущностей на основе XLM-RoBERTa, дообученной для классификации токенов. Модель размечает восемь типов сущностей: PERSON, ORGANIZATION, LOCATION, JOB, PRODUCT, WORKOFART, TIMEDATE и AMOUNT. Она предназначена для извлечения сущностей из английских текстов, в том числе новостных. Модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. По описанию проекта, на небольшом наборе новостных текстов с ручной разметкой модель достигла F1 0,84. Её слабые места — распознавание должностей, границы денежных сумм, дат и измерений, а также ложные срабатывания на названия организаций. Обучающие данные для категории JOB преимущественно синтетические, а проверочный набор невелик. Модель основана на многоязычной XLM-RoBERTa, но обучающие данные и заявленные результаты относятся только к английскому языку; качество на азербайджанском не проверено. Лицензия в предоставленных сведениях не указана.

PantryMax SmolVLM-500M ONNX — мультимодальная модель на базе Idefics3, выпущенная как браузерная сборка ONNX Runtime Web. Это LoRA-файнтюн HuggingFaceTB/SmolVLM-500M-Instruct для локального извлечения сведений с этикеток товаров и страниц рецептов. Модель принимает изображение и выбранную задачу («product» или «recipe»), а приложение PantryMax ограничивает генерацию соответствующей JSON-схемой. Сборка предназначена для работы прямо в браузере без отправки изображений на сервер; в репозитории находятся только браузерные runtime-файлы. Метаданные указывают мультиязычную поддержку и задачу image-to-text. Извлечённые поля могут быть ошибочными: структурированное декодирование обеспечивает разбираемый формат, но не гарантирует фактическую точность. Следует проверять результаты и не использовать модель как источник истины для решений с высокими ставками. Лицензия в метаданных обозначена как other, конкретные условия в предоставленной карточке не раскрыты.

Pavarissy/phayathaibert-thainer — модель распознавания сущностей в тайском тексте, дообученная на базе clicknext/phayathaibert. Она использует архитектуру CamemBERT и предназначена для классификации токенов; в метаданных указан датасет pythainlp/thainer-corpus-v2. Модель содержит 304,7 млн параметров, принимает последовательности длиной до 512 токенов и доступна в формате safetensors для библиотеки Transformers. В README приведены результаты оценки: F1 0,8666, точность 0,8432, полнота 0,8915 и accuracy 0,9735. Эти показатели относятся к указанному набору оценки; подробности о разметке и сценариях использования в карточке не раскрыты. Лицензия — MIT.

UMCU/PII_XMLR.eu — многоязычная модель для выявления и классификации персональных данных в тексте. Её создали в UMCU, дообучив FacebookAI/xlm-roberta-base на наборе ai4privacy/pii-masking-openpii-1.5m с помощью MedNER. Модель построена на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров; она принимает текст и относит токены к классам, что позволяет находить фрагменты с персональными данными для последующей деидентификации или маскировки. Модель обучали на английском, нидерландском, французском, немецком, испанском, итальянском, датском, шведском и португальском языках. В классификационной голове вместо одного линейного слоя используются три плотных слоя с ReLU и dropout 10%. Максимальная длина контекста — 514 токенов. Модель подходит для поиска и разметки PII в текстах на поддерживаемых языках; качество зависит от языка, типа данных и сходства текста с обучающим набором. Лицензия — Apache-2.0.

PrivaScope Topic Classifier — модель Wravn для многометочной классификации предложений из политик конфиденциальности. Она определяет, какие из 15 тематических категорий затрагивает отдельное предложение: например, обработку данных, цели, передачу третьим сторонам, права пользователей, безопасность, хранение и удаление данных. Модель предназначена для детального анализа англоязычных политик конфиденциальности и является тематическим классификатором в конвейере PrivaScope. Модель основана на PrivBERT (mukund/privbert), RoBERTa, дополнительно предобученной на текстах политик конфиденциальности. Для обучения классификатора использовали 3 078 предложений, включая вручную размеченные примеры и синтетические данные; в README приведены значения F1 Macro 0,87 и F1 Micro 0,88. Модель принимает текст и выдаёт несколько тематических меток. Она не определяет область действия политики, конкретное содержание и атрибуты — эти задачи выполняются отдельными моделями и правилами. Лицензия — MIT.

py314-pylingual-v4-segmenter — модель семейства RoBERTa, разработанная syssec-utd и дообученная на основе syssec-utd/py314-pylingual-v4-mlm для классификации токенов. Она предназначена для сегментации текста на уровне токенов; обучение проводилось на наборе syssec-utd/segmentation-py314-pylingual-v4-tokenized. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 514 токенов и опубликована в формате safetensors для библиотеки Transformers. На указанной в карточке оценочной выборке приведены precision 0,9949, recall 0,9972, F1 0,9961 и accuracy 0,9992. Лицензия и конкретная схема сегментации в предоставленных данных не описаны.

Iceland/quote-model-BERTm-v1 — дообученная модель на основе bert-base-multilingual-cased, разработанная для классификации токенов. Модель использует архитектуру BERT и содержит 205,1 млн параметров; максимальная длина контекста составляет 512 токенов. В карточке приведены метрики на оценочной выборке: F1 0,8676, точность 0,9314, precision 0,8161 и recall 0,9262. Назначение меток и обучающий датасет не описаны, поэтому практическую задачу разметки можно определить только на общем уровне. Модель доступна под лицензией Apache-2.0.

Модель kihyun-K/Qwen3-0.6B-JSON-SFT-GRPO — дообученная версия Qwen3, созданная kihyun-K на основе kihyun-K/Qwen3-0.6B-JSON-SFT. Это плотная авторегрессионная языковая модель с 507,9 млн параметров, предназначенная для генерации текста в диалоговом формате; название модели указывает на настройку для вывода JSON с использованием GRPO. Контекстное окно составляет 40 960 токенов. Модель может использоваться для генерации структурированных JSON-ответов и других текстовых ответов в приложениях на базе чат-моделей. Она распространяется в формате Safetensors и выпущена по лицензии Apache-2.0. В README указано, что при обучении использовались Unsloth и библиотека TRL от Hugging Face.

Компактная языковая модель семейства Qwen3, разработанная yoon112 как дообучение NotoriousH2/Qwen3-0.6B-JSON-SFT. Она предназначена для генерации текста и работы в диалоговом формате; базовая модель ориентирована на извлечение метаданных, поручений, решений и препятствий из корейских протоколов совещаний с выдачей результата в JSON. Модель содержит 507,9 млн параметров, использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов. Модель подходит для структурирования протоколов и автоматизации извлечения сведений из них. В карточке указана лицензия Apache-2.0. Языковые сведения карточки отмечают английский, а назначение базовой модели связано с корейскими протоколами; качество для других языков и точность соблюдения JSON-схемы могут зависеть от входных данных.

Koalacrown/qwen3.6-27b-agentic-extraction-sft-merged — объединённый чекпойнт модели Qwen3.6-27B, подготовленный Koalacrown. Он создан применением весов SFT LoRA-адаптера Koalacrown/qwen3.6-27b-agentic-extraction-sft-lora к базовой модели Qwen/Qwen3.6-27B; чекпойнт сохранён в формате bf16. Модель использует архитектуру Qwen3_5ForConditionalGeneration и поддерживает текстовый диалог и работу с изображениями. Модель предназначена для агентного извлечения информации и мультимодальных сценариев, в которых нужно анализировать изображения и формировать текстовый ответ. Репозиторий включает интерфейс вызова инструментов, однако карточка не описывает конкретные инструменты, обучающие данные, показатели качества или ограничения применимости. Лицензия — Apache-2.0.

Tommert25/robbert0410_lrate7.5b4 — дообученная модель классификации токенов, созданная на основе нидерландской RobBERT-v2 Dutch Base от pdelobelle. Она построена на архитектуре RoBERTa, содержит 144 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель предназначена для разметки отдельных токенов в нидерландском тексте. Конкретный тип разметки и обучающий датасет в карточке не раскрыты. На указанном в README наборе оценки получены precision 0,7671, recall 0,7305, F-мера 0,7455 и accuracy 0,8904. Распространяется по лицензии MIT.

sat-1l-sm — модель семейства Segment any Text, предназначенная для сегментации текста на предложения в составе wtpsplit. В карточке заявлено качество уровня state of the art и компактная архитектура с одним слоем Transformer; метаданные указывают классификатор токенов XLM размером 201,4 млн параметров с контекстом до 514 токенов. Модель выполняет разметку токенов для определения границ предложений и ориентирована на многоязычный текст. Метаданные перечисляют языки, включая английский, арабский, французский, немецкий, хинди и японский; поддержка русского языка среди перечисленных кодов не заявлена. Доступны веса в форматах Safetensors и ONNX. Лицензия — MIT.

Модель tomaarsen/span-marker-bert-tiny-conll03 — компактная модель для распознавания именованных сущностей, созданная на основе архитектуры SpanMarker с энкодером prajjwal1/bert-tiny. Она дообучена на наборе данных CoNLL-2003 и предназначена для разметки сущностей в тексте с помощью библиотеки SpanMarker. Модель подходит для эффективного тестирования SpanMarker и для базовых экспериментов с извлечением именованных сущностей. В репозитории представлены веса PyTorch и Safetensors. Модель ориентирована на английский язык. Лицензия — Apache-2.0.

stanfordnlp/stanza-bg — модель Stanza для лингвистического анализа болгарского языка, подготовленная Stanford NLP. Набор инструментов Stanza анализирует текст от базовой обработки до синтаксического разбора и распознавания именованных сущностей; в Hugging Face модель классифицирована как token-classification и распространяется в формате PyTorch. Модель предназначена для языкового анализа болгарского текста в NLP-процессах. Лицензия — Apache-2.0. Данных о размере модели и длине контекста в доступных источниках нет.

TFT-ID-1.0 — модель обнаружения объектов, созданная Yifei Hu на основе дообучения контрольных точек microsoft/Florence-2. Она принимает изображение одной страницы научной статьи и находит на нём таблицы, рисунки и текстовые разделы, возвращая для каждого элемента ограничивающую рамку и метку класса. Модель предназначена для анализа страниц академических публикаций и подготовки их к последующей обработке: найденные текстовые области можно передавать в OCR, а таблицы и рисунки — использовать для извлечения структуры документа. По README, обучение проводилось на статьях из Hugging Face Daily Papers с более чем 36 тысячами вручную размеченных рамок; автор сообщает о точности 96,78% на задаче поиска всех трёх типов областей и 98,84% для таблиц и рисунков на тестовых страницах. Репозиторий содержит веса в формате Safetensors, лицензия — MIT. Модель ориентирована на страницы научных статей; тестирование описано на публикациях, связанных с Hugging Face Daily Papers, поэтому качество на других типах документов не подтверждено. Для распознавания текста и преобразования его в Markdown или LaTeX потребуется отдельная OCR-модель.

Casually/uie-mini — реализация на PyTorch модели UIE-mini из PaddlePaddle/uie-mini. Она извлекает из китайского текста сущности, отношения и события по заданной пользователем схеме, возвращая найденные фрагменты, позиции и оценки вероятности. Модель относится к семейству ERNIE, содержит 29,5 млн параметров и рассчитана на контекст до 2048 токенов; в репозитории веса представлены в форматах PyTorch и Safetensors. Модель предназначена для структурированного извлечения информации из текста: например, для выделения сущностей и извлечения отношений или событий. Карточка демонстрирует извлечение времени, названия соревнования и участника из китайского текста. Лицензия — Apache-2.0. Описанная реализация и примеры ориентированы на китайский язык; точность на других языках не подтверждена.

cmhyo/xlm-roberta-base-finetuned-panx-fr — дообученная модель на базе XLM-RoBERTa Base для классификации токенов. Она предназначена для задач разметки последовательностей; суффикс «panx-fr» указывает на связь с французской версией PAN-X, однако README не подтверждает состав обучающих данных или набор меток. Модель содержит 305,2 млн параметров, построена на архитектуре XLM-RoBERTa и рассчитана на контекст до 514 токенов. По данным README, на оценочном наборе получены loss 0,2659 и F1 0,8461. Распространяется по лицензии MIT.

Модель c-ho/2026-07-15-crf-classweights-clean — дообученная модель токенной классификации на базе Davlan/bert-base-multilingual-cased-ner-hrl. Она использует архитектуру BERT с CRF-слоем и предназначена для присвоения меток отдельным токенам текста. Базовая модель извлекает именованные сущности, включая имена людей, организации и географические названия, на десяти языках; эта версия демонстрирует метрики на наборе оценки для лингвистических категорий, однако назначение меток и обучающий датасет в карточке не описаны подробно. Модель содержит 205,1 млн параметров, принимает текст в контексте до 512 токенов и распространяется в формате safetensors. На оценочной выборке указаны F1 0,7962, precision 0,7749 и recall 0,8188; результаты по отдельным категориям различаются, а для Graphemicphenomenon F1 равен 0. Лицензия — AFL-3.0.