I.3Извлечение и структурирование данных

rai reader 0.3.8 — экстрактивная модель для ответов на вопросы, разработанная для инструмента rai. Она получает вопрос и короткий ответ в свободной форме и извлекает из него фразу, отвечающую на вопрос, либо возвращает отсутствие ответа. Текст не генерирует; проверка полноты и принятие решений после извлечения выполняются обычным кодом. Модель предназначена для заранее заданных форм, где каждый вопрос запрашивает конкретные сведения — например, имя, число, место или время, — а ответы вводятся короткими фразами. В основе лежит deepset/minilm-uncased-squad2: веса трёх читателей усреднены, включая читатель, обученный распознавать некоторые ответы на хинглиш. Архитектура BERT, около 40 млн параметров по метаданным и контекст до 512 токенов. В карточке описаны английские и хинглиш-тесты, но показатели на них ограничены конкретными наборами. Модель не является универсальной проверкой полноты и сама не определяет, верен ли ответ или достаточен ли он. Карточка указывает лицензию CC-BY-4.0.

Set2Regex — нейросетевой синтезатор регулярных выражений, представленный авторами работы ReSyn: A Generalized Recursive Regular Expression Synthesis Framework. Модель принимает набор положительных и отрицательных строк и авторегрессионно генерирует регулярное выражение, которое должно соответствовать положительным примерам и отклонять отрицательные. Архитектура включает иерархический Transformer: сначала кодируются символы, затем строки; декодеры учитывают как весь набор, так и отдельные строки. Поддерживаются greedy-декодирование, top-k/top-p sampling и beam search. Репозиторий содержит веса safetensors и связан с датасетом mrseongminkim/ReSyn; модель реализована на PyTorch и использует PyTorchModelHubMixin. Для использования требуется код пакета ReSyn из указанного GitHub-репозитория. Лицензия — Apache-2.0.

nlpconnect/roberta-base-squad2-nq — дообученная модель на базе RoBERTa для извлечения ответов на вопросы из предоставленного текста. Разработчики обучили базовую RoBERTa на SQuAD 2.0 в течение двух эпох, а затем на подмножестве Natural Questions с короткими ответами в течение одной эпохи. Модель содержит 151,8 млн параметров, использует архитектуру RobertaForQuestionAnswering и принимает вопрос вместе с контекстом длиной до 514 токенов. Модель предназначена для поиска ответа в тексте и может воздержаться от ответа, если контекст его не подтверждает. В README указаны результаты на dev-наборе SQuAD 2.0: F1 83,44 и exact match 80,30. Эти показатели относятся к указанному набору; качество на других текстах может отличаться. Доступны веса PyTorch и Flax. Лицензия — Apache 2.0.

Карточка модели Hitelcy/Sarvix_handwriting_AI на Hugging Face совпадает с карточкой microsoft/trocr-base-handwritten, поэтому описание составлено по ней. TrOCR base handwritten — модель Microsoft, дообученная на наборе IAM для распознавания рукописного текста на изображениях отдельных строк. Она использует архитектуру encoder-decoder: Transformer-кодировщик изображений, инициализированный весами BEiT, и авторегрессионный Transformer-декодер текста, инициализированный весами RoBERTa. Изображение разбивается на патчи размером 16×16 пикселей, по которым модель генерирует последовательность текстовых токенов. Модель предназначена для OCR рукописных строк; её можно применять, например, для оцифровки рукописных заметок и строк документов. В карточке указана лицензия MIT. Доступны веса PyTorch и Safetensors. Ограничение, указанное в карточке: модель рассчитана на отдельные текстовые строки, поэтому для распознавания страниц или сложной структуры документов потребуется предварительно выделить строки. В предоставленных данных не описана поддержка конкретных языков.

SmolDocling-256M-preview-mlx-bf16 — версия модели SmolDocling, преобразованная в формат MLX из ds4sd/SmolDocling-256M-preview с помощью mlx-vlm 0.1.18. Это компактная плотная vision-language-модель семейства SmolVLM на 256 млн параметров, предназначенная для обработки изображений и генерации текста; карточка указывает сценарий image-text-to-text и интерфейс диалога. Для описания возможностей и сценариев работы следует обращаться к карточке исходной модели, поскольку эта карточка подробностей не приводит. Репозиторий использует библиотеку Transformers и содержит веса safetensors; в README приведён способ запуска через mlx-vlm. Модель подходит для извлечения и преобразования содержимого документов по изображению в текст. Поддерживаемый язык карточки — английский. Лицензия — CDLA-Permissive-2.0.

STEP3-VL-10B — мультимодальная чат-модель компании StepFun с 10 млрд параметров, основанная на архитектуре StepVLForConditionalGeneration. Она принимает изображения и текст и генерирует текстовые ответы; в README описано совместное обучение визуального энкодера и декодера Qwen3-8B, а также дообучение с учителем и обучение с подкреплением. Модель предназначена для визуального понимания и рассуждений, включая анализ диаграмм и задач STEM, распознавание текста на изображениях, понимание интерфейсов и пространственных сцен. Заявленные сценарии включают ответы на вопросы по изображениям и документам, OCR, подсчёт объектов, решение математических задач по визуальным данным и взаимодействие с GUI. Для многошаговых визуальных задач README описывает последовательное рассуждение SeRe и параллельное исследование PaCoRe. Веса доступны в формате safetensors; карточка рекомендует bf16-инференс и указывает потребность примерно в 24 ГБ видеопамяти. Модель распространяется по лицензии Apache-2.0.

Tesseract LSTM OCR — GGUF — это набор моделей распознавания текста по отдельным строкам, созданный на основе языковых данных проекта tesseract-ocr/tessdata и преобразованный в формат GGUF для CrispEmbed. Репозиторий содержит варианты для английского, немецкого, французского, испанского, итальянского, португальского, нидерландского, русского, арабского, упрощённого китайского, японского и корейского языков. Модель предназначена для OCR отдельных текстовых строк: изображение строки следует нормализовать и обрезать перед распознаванием. Для полно页ного OCR её можно объединять с детектором текста, например DBNet. Runtime выполняет нормализацию высоты и жадное CTC-декодирование, однако расстановку пробелов между словами и порядок чтения на странице должна обеспечивать внешняя OCR-система. В граф GGUF не входят языковые модели Tesseract DAWG. Для каждого языка доступны варианты F32, F16, Q8_0 и Q4_K: F32 служит эталоном, F16 предназначен для высокоточного развёртывания, Q8_0 рекомендован как компактный вариант, а Q4_K обеспечивает минимальный размер и требует проверки на целевом корпусе. Квантизуются только рекуррентные матрицы, тогда как выходные веса и смещения сохраняются в исходной точности, что помогает сохранить стабильность CTC-решений. Это конвертация и/или квантизация без дополнительного обучения, дообучения или изменения архитектуры и словаря. Лицензия Apache-2.0; при распространении производных необходимо сохранять атрибуцию upstream и исходную контрольную сумму.

TinyTeapot — компактная модель генерации текста от TeapotAI для ответов на вопросы по предоставленному контексту, извлечения информации и RAG-сценариев. Она построена на архитектуре T5 и, согласно README, дистиллирована из TeapotLLM; метаданные Hugging Face указывают дообучение google/flan-t5-small. В репозитории заявлено около 77 млн параметров, тогда как метаданные указывают 45,8 млн; это расхождение не позволяет однозначно описать размер модели. Модель принимает текст в формате text-to-text и рассчитана на работу с явным контекстом. В README заявлены низкая задержка на CPU и пригодность для мобильных устройств и других ограниченных по ресурсам сред; метаданные указывают контекст до 512 токенов. Обучение на SynthQA и TeapotChat ориентировано на контекстные ответы, структурированное извлечение и отказ от ответа, когда сведений в контексте недостаточно. Основной язык карточки — английский. TinyTeapot подходит для вопросов по документам, RAG, извлечения полей и краткого пересказа контекста, но не предназначена для свободного диалога, творческого письма или сложных многошаговых рассуждений. Качество зависит от полноты и релевантности переданного контекста; несмотря на обучение для снижения галлюцинаций, модель всё ещё может выдавать неподтверждённые ответы. Лицензия — MIT.

Typhoon2-qwen2vl-7b-vision-instruct — мультимодальная инструктивная модель компании Typhoon AI для работы с изображениями. Она дообучена на базе Qwen/Qwen2-VL-7B-Instruct и построена как плотная decoder-only модель с визуальным энкодером на архитектуре Qwen2; содержит 7,1 млрд параметров и использует библиотеку Transformers. Модель принимает текст и изображения и отвечает на вопросы о визуальном содержимом. Она оптимизирована для задач на основе изображений, включая OCR, анализ диаграмм и визуальные вопросы и ответы; README также сообщает о поддержке видеовхода базовым семейством, но выделяет изображения как основной сценарий этой модели. Основные языки — тайский и английский. Длина контекста — 32 768 токенов. В опубликованной оценке модель показывает результаты на OCRBench, MMBench и ChartQA; в частности, README приводит высокие результаты на ChartQA. Модель находится в разработке и может давать неточные, предвзятые или нежелательные ответы, поэтому результаты следует проверять. Лицензия — Apache-2.0.

VARCO-VISION-2.0-14B — мультимодальная модель NCSOFT, построенная по архитектуре LLaVA-OneVision. Она объединяет визуальную модель SigLIP2-so400m-patch16-384 и языковую Qwen3-14B; число параметров языковой базовой модели — 14 млрд. Модель принимает текст и одно или несколько изображений и отвечает на вопросы по их содержимому. Модель предназначена прежде всего для корейского и английского языков. Она умеет анализировать документы, таблицы и графики, распознавать текст на изображениях и указывать его положение рамками, а также отвечать на повседневные вопросы и суммировать информацию. Разработчик отмечает улучшенное понимание корейского языка и культурного контекста. Для работы с несколькими изображениями рекомендуется Transformers версии 4.53.1 или выше. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Оценки зависят от бенчмарка и формата запроса; README также предупреждает, что результаты некоторых тестов с оценкой другой LLM могут быть невоспроизводимы.

vi-ner-videberta — модель разметки токенов на основе ViDeBERTa, разработанная для извлечения сущностей из OCR-текста банковских выписок на вьетнамском языке. Она классифицирует фрагменты как PERSON, ORGANIZATION и ADDRESS; метка адреса помогает отличать названия улиц и административных районов, похожие на имена людей или организаций. Модель основана на Fsoft-AIC/videberta-base, содержит 211,6 млн параметров и рассчитана на контекст до 512 токенов. Предназначенный сценарий — обработка одной OCR-распознанной строки банковской транзакции для последующего анализа. На валидации указаны F1 0,902 в целом и F1 0,892 для PERSON, 0,889 для ORGANIZATION и 0,923 для ADDRESS. Ошибки OCR, сокращения, незнакомые форматы выписок и имена, совпадающие с географическими названиями, могут снижать точность; результаты требуют проверки перед юридическими, комплаенс-, идентификационными или платёжными решениями. Лицензия указана как other; обучающие данные включают ограниченные или не подлежащие распространению примеры, поэтому перед коммерческим использованием или распространением нужно проверить условия исходных данных.

deepset/xlm-roberta-large-squad2 — многоязычная модель для извлечения ответов на вопросы, разработанная deepset на основе xlm-roberta-large и дообученная на SQuAD 2.0. Она находит ответный фрагмент в предоставленном тексте и поддерживает сценарии вопросов и ответов по отдельным отрывкам или документам; для поиска ответов в коллекции документов README показывает использование с Haystack. Модель использует архитектуру XLM-RoBERTa для задачи question answering, содержит 658,7 млн параметров и имеет контекст длиной 514 токенов. Её оценивали на английском SQuAD 2.0 и немецких MLQA и XQuAD. Лицензия — CC BY 4.0. Модель предназначена для извлечения ответа из контекста, а не для свободной генерации развёрнутых ответов. Качество за пределами описанных оценок и языков может различаться; при работе с большими коллекциями документов требуется отдельный поиск или оркестрация, например через Haystack.

Карточка модели arinze/address-match-abp-v4 на Hugging Face совпадает с карточкой arinze/address-match-abp-v2, поэтому описание составлено по ней. arinze/address-match-abp-v2 — модель на основе BERT, созданная для сопоставления адресов. Она кодирует предложения и абзацы в плотные векторы размерностью 64, пригодные для поиска семантически похожих адресов, кластеризации и ранжирования кандидатов по сходству. Модель можно использовать через библиотеку Sentence-Transformers; она обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Модель содержит 25,9 млн параметров и принимает текст с контекстным окном до 512 токенов. В репозитории указаны веса PyTorch. Язык обучающих данных и лицензия в доступных сведениях не приведены, поэтому область применимости по языкам и условия использования определить нельзя.

AIN — арабско-английская мультимодальная модель MBZUAI на 7,1 млрд параметров, дообученная на базе qwen2-VL-7B. Она принимает изображения и текстовые запросы и предназначена для визуальных вопросов и ответов, OCR и анализа документов, а также понимания графиков, таблиц, видео и изображений из специализированных областей. Модель обучалась на 3,6 млн арабско-английских мультимодальных примеров; в карточке заявлены сильные результаты для арабского языка, двуязычные возможности и понимание культурного контекста. Архитектура основана на Qwen2-VL, поддерживает диалог и контекст до 32 768 токенов. Среди заявленных сценариев — медицинские изображения, сельское хозяйство, дистанционное зондирование и научная визуализация. Модель выдаёт текстовые ответы по содержимому изображений; для видео в README описана обработка локальных файлов. Указана лицензия MIT. Результаты и сравнительные заявления приведены авторами модели; качество на конкретных данных может отличаться.

airoboros-l2-13b-3.1.1 — экспериментальная инструктивная языковая модель на архитектуре Llama 2, дообученная автором jondurbin на наборе синтетических и других примеров airoboros-3.1. Она предназначена для выполнения инструкций и диалогов в формате чата Llama 2; модель содержит 12,9 млрд параметров и имеет контекстное окно 4096 токенов. Модель подходит для ответов на вопросы по предоставленному контексту, суммаризации, математических задач с формированием MathJSON, извлечения полей из журналов, анонимизации текста, программирования и планирования действий с инструментами. По описанию она сильнее ориентирована на точное следование инструкциям, чем на непринуждённый чат и ролевые диалоги. Для математических ответов автор рекомендует низкую температуру генерации; формат чата должен соответствовать шаблону Llama 2. Это дообученная модель, опубликованная в формате safetensors. В карточке указана лицензия Llama 2. Разработчик описывает её как экспериментальную; результаты могут быть нестабильными, а генерация MathJSON и вызовы функций требуют внешнего разбора и выполнения. Русский язык явно не заявлен.

badokorach/bert-finetuned-squad — модель семейства BERT, дообученная на основе google-bert/bert-base-cased для ответа на вопросы. Она принимает текст с вопросом и контекстом и предназначена для извлечения ответа из предоставленного контекста. Модель содержит 135,5 млн параметров, поддерживает контекст до 512 токенов и опубликована в формате TensorFlow. Карточка сообщает о двух эпохах обучения и значении Train Loss 0,5693, но не раскрывает обучающий датасет, оценочные метрики и подробные ограничения. Модель распространяется по лицензии Apache-2.0.

Модель BERT с 135,5 млн параметров предназначена для ответов на вопросы по предоставленному тексту: она находит в контексте фрагмент, соответствующий вопросу. Модель обучена с нуля на датасете SQuAD; в карточке указана архитектура BertForQuestionAnswering. Поддерживаются форматы PyTorch и TensorFlow, максимальная длина контекста составляет 512 токенов. Модель подходит для извлечения ответов из текстовых документов и справочных материалов. Данных о поддерживаемых естественных языках и специальных областях применения нет. Лицензия в предоставленных сведениях не указана.

BERT-Wiki-Paragraphs — модель классификации пар абзацев, разработанная Сатьей Алмасианом, Деннисом Аумиллером, Люсьен-Софи Марме и Михаэлем Герцем. Она оценивает, относятся ли два абзаца к одной теме, и предназначена для проверки тематической связности текста и сегментации документов на смысловые части. Модель основана на BERT и дообучена на парах абзацев из Википедии с использованием слабого автоматического надзора: абзацы одного раздела считаются тематически связанными. Веса содержат около 136,7 млн параметров; модель принимает текст и выдаёт метку классификации. Контекст ограничен 512 токенами, а при обработке длинных пар применяется усечение longest-first. Доступна под лицензией MIT.

BizOnAI-OCR — разработанная ONTHEIT специализированная модель OCR для обработки промышленных документов. Она дообучена на основе Qwen/Qwen3-VL-8B-Instruct и использует архитектуру Qwen3-VL с 8 млрд параметров для преобразования изображений документов в структурированный текст. Модель ориентирована прежде всего на корейские документы: договоры, медицинские записи, финансовые формы и государственные документы. Она распознаёт смешанный корейский, английский и китайский текст, сложные формы, вертикальные таблицы и необычное форматирование пробелов; может сохранять структуру документа с заголовками и таблицами в Markdown. В карточке приведены результаты тестирования на корейском KDoc-OCRBench и англоязычном olmOCR-bench. Для обслуживания указана совместимость с vLLM и Transformers; пример запуска задаёт максимальную длину контекста 16 384 токена. Модель принимает изображения и выдаёт текст. Для специализированного OCR её результаты зависят от качества исходного изображения и сложности документа; опубликованные оценки относятся к указанным бенчмаркам и не гарантируют точность на всех типах документов. Лицензия — OpenRAIL.

CapRL-Qwen3VL-4B-GGUF — мультимодальная vision-language модель примерно на 4 млрд параметров, разработанная на основе internlm/CapRL-Qwen3VL-4B и Qwen3-VL-4B. Модель распространяется в формате GGUF с различными вариантами квантования и предназначена для обработки изображений и текста; заявленный язык — английский. Модель ориентирована прежде всего на генерацию подробных подписей к изображениям, визуальные вопросы и ответы, извлечение текста, а также анализ диаграмм, инфографики, документов и естественных изображений. По данным карточки, она обучалась с использованием двухэтапного Reinforcement Learning with Verifiable Rewards (RLVR) с оценкой качества подписей через vision-only LLM на тщательно отфильтрованном наборе разнообразных изображений. Заявлены широкий охват визуальной информации, структурированные ответы и сниженная склонность к галлюцинациям; возможна интеграция через vLLM OpenAI-compatible API с передачей изображений в формате base64. Сильными сторонами являются сочетание компактного размера, мультимодального понимания и поддержки большого числа уровней квантования, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти. Ограничения включают заявленную ориентацию на английский язык, отсутствие в предоставленных данных точного размера контекстного окна и подробных результатов бенчмарков, а также потенциальные потери качества в сильно квантованных вариантах. Модель распространяется по лицензии Apache-2.0.

Chonky distilbert base (uncased) v1 — модель на архитектуре DistilBERT, разработанная автором репозитория mirth для семантического разбиения текста на связные фрагменты. Она предназначена для подготовки документов к поиску и генерации с дополненной выборкой (RAG): полученные фрагменты можно передавать в системы эмбеддингового поиска или языковые модели. Модель дообучена на DistilBERT базового размера и обучалась разделять абзацы из BookCorpus. Для работы автор предлагает библиотеку chonky. В README приведены F1 0,7, точность 0,79 и полнота 0,63; базовая модель имеет контекст до 512 токенов. Репозиторий содержит веса в формате Safetensors, библиотека для загрузки — Transformers. Модель ориентирована на английский текст и доступна по лицензии MIT. Метрики указывают на компромисс между точностью и полнотой границ сегментов; качество на других типах документов и языках в карточке не подтверждено.

comprehend_it-base — англоязычная модель Knowledgator на базе энкодера DeBERTaV3-base, обученная на наборах для вывода на естественном языке и классификации текста. Она предназначена прежде всего для классификации по заданным пользователем категориям в zero-shot режиме: можно передать текст и список меток, не дообучая модель на этих категориях. Также модель применяют для ранжирования результатов поиска и задач извлечения информации, включая распознавание именованных сущностей, извлечение отношений, связывание сущностей и ответы на вопросы. Модель использует архитектуру DeBERTa-v2 для классификации последовательностей, содержит 211,6 млн параметров и принимает контекст до 512 токенов. В карточке заявлено, что на нескольких наборах классификации она превосходила BART-large-mnli в zero-shot сценарии при почти втрое меньшем размере; также приведены результаты для нескольких наборов данных. Доступны веса PyTorch, библиотека Transformers и лицензия Apache-2.0. Модель рассчитана на английский язык. Как энкодер-классификатор, она выдаёт метки и оценки классов, а не генерирует свободный текст. Качество зависит от формулировок текста и кандидатов-меток; контекст ограничен 512 токенами, а README не приводит сравнительных результатов для всех заявленных задач извлечения информации.

Context Aware Splitter (CAS) — каузальная языковая модель семейства Llama, опубликованная mhenrichsen для разбиения текста с учётом контекста при подготовке данных для Retrieval-Augmented Generation (RAG). Она сегментирует текст на самостоятельные по смыслу фрагменты заданного примерного размера и возвращает список фрагментов вместе с кратким обозначением темы. Модель обучена на 12,3 тыс. датских текстов объёмом 13,4 млн токенов и рассчитана прежде всего на датский язык. Метаданные указывают размер 1 млрд параметров и контекст до 8194 токенов; веса представлены в форматах PyTorch и safetensors. CAS подходит для автоматической подготовки текстовых коллекций к индексации и поиску в RAG-системах. Карточка описывает её как специализированный сплиттер, а не как универсальную модель генерации. Лицензия Apache-2.0 допускает широкое использование при соблюдении её условий.

Context aware splitter 1.1b — дообученная модель на базе TinyLlama/TinyLlama-1.1B-intermediate-step-955k-token-2T, разработанная для контекстно-зависимого разделения текста. Она предназначена для подготовки текстовых фрагментов для систем поиска с дополненной генерацией (RAG), где важно учитывать смысл и контекст при выборе границ фрагментов. Модель построена на архитектуре Llama и содержит около 1 млрд параметров; максимальная длина контекста — 8192 токена. Поддерживается английский язык. В README указано значение loss 0,0598 на оценочном наборе, но методика оценки и характеристики обучающих данных подробно не описаны. Модель распространяется по лицензии Apache-2.0.

cksghl1004/cpp_moondream2 — компактная модель визуального языка из семейства Moondream, опубликованная 25 июня 2025 года. Репозиторий содержит релиз Moondream от 21 июня 2025 года; модель предназначена для эффективного запуска на широком спектре устройств. Доступны веса в форматах GGUF F16 и safetensors, лицензия — Apache-2.0. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Она подходит для описания изображений, ответов на визуальные вопросы, распознавания текста в документах и таблицах, понимания диаграмм и интерфейсов, обнаружения и подсчёта объектов, а также тегирования изображений. В README отмечены улучшения OCR и понимания диаграмм, документов и экранов в обновлениях 2025 года. Рекомендуется фиксировать конкретную ревизию при использовании в производственном приложении, поскольку модель часто обновляется. Для свежего релиза в README указано, что подробные примечания к выпуску ещё не опубликованы.

Dialog2Flow joint target model (DSE-base) — модель для получения плотных векторных представлений предложений и абзацев, созданная как вариант D2F_joint в рамках исследования Dialog2Flow. Она использует DSE-base в качестве основы и реализована на Sentence Transformers с архитектурой BERT; модель преобразует текст в векторы размерности 768 и дообучена для извлечения структуры диалоговых потоков. Модель предназначена для сравнения и поиска текстов, кластеризации реплик и автоматического выделения потока диалога. В README отмечено улучшение результатов по сравнению с вариантом на BERT-base. Поддерживаемый язык — английский; максимальная длина контекста составляет 512 токенов. Модель можно применять через Sentence Transformers или Hugging Face Transformers с подходящей операцией pooling. Лицензия — MIT.

en_PP-OCRv3_mobile_rec — компактная модель распознавания текстовых строк из семейства PP-OCRv3_rec, разработанная командой PaddleOCR. Она обучена на основе PP-OCRv3_mobile_rec и предназначена для распознавания английского текста на изображениях. Модель преобразует изображение отдельной текстовой строки в текст. В составе конвейера PP-OCRv3 её можно использовать вместе с обнаружением текста и дополнительными модулями коррекции ориентации и геометрии изображения, чтобы извлекать текст из документов и других изображений. README приводит оценку качества распознавания строк, при которой строка считается ошибочной, если неверен хотя бы один символ или знак пунктуации. Для работы используется библиотека PaddleOCR; лицензия репозитория — Apache-2.0. Модель ориентирована на английский текст, поэтому её не следует считать универсальным многоязычным распознавателем; распознавание строк также предполагает, что области текста уже выделены или обрабатываются отдельной моделью конвейера.

jjzha/escoxlmr_knowledge_extraction — модель для извлечения знаний из текста с помощью разметки токенов. В карточке она представлена как демонстрация, использующая модели для извлечения hard skills; также упомянута отдельная модель для извлечения soft и прикладных навыков. Модель построена на архитектуре XLM-RoBERTa и содержит 658,7 млн параметров. Она принимает текст, размечает его токены и рассчитана на контекст до 514 токенов. Модель подходит для выделения профессиональных знаний и жёстких навыков из текстов, например из описаний вакансий или резюме. Доступна в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Карточка не описывает состав обучающих данных и качество на конкретных наборах, поэтому точность извлечения для отдельных типов документов не установлена.

Kansallisarkisto/finbert-ner — модель распознавания именованных сущностей в финском тексте, разработанная Национальным архивом Финляндии. Это дообученная для классификации токенов модель BERT на базе TurkuNLP/bert-base-finnish-cased-v1; она содержит 151,7 млн параметров, работает с контекстом до 512 токенов и распространяется в формате PyTorch через Transformers. Модель выделяет десять типов сущностей: имена людей, организации, места, геополитические объекты, продукты, события, даты, финские регистрационные номера дел и компаний, а также национальные, религиозные и политические группы. Она подходит для разметки финских архивных и административных документов, газетных текстов и других материалов для поиска и анализа. В тестировании F1 составил 0,90 для PERSON, 0,86 для ORG и 0,97 для FIBC; результаты для событий ниже — 0,71. Лицензия MIT. Распознавание EVENT и LOC может быть менее точным из-за меньшего числа таких примеров в обучении. Поскольку большая часть данных относится к относительно недавнему периоду, модель может хуже работать со старыми именами и стилями письма. Часть обучающих архивных данных не опубликована из-за наличия чувствительной информации.

Gemma-APS 7B — дообученная Google модель на базе Gemma 7B для абстрактивной сегментации пропозиций, также называемой извлечением утверждений. Она принимает текстовый фрагмент и выделяет из каждого предложения отдельные факты, утверждения и идеи, переформулируя их в самостоятельные полные предложения. Результаты сгруппированы по исходным предложениям. Модель предназначена для исследовательских и прикладных сценариев, где нужно разбивать текст на смысловые утверждения: например, для подготовки данных к проверке фактов, поиска и оценки суммаризации. Она работает с текстом на английском языке, обучена на контексте до 8192 токенов и доступна через Transformers. В карточке указаны авторы Mohammad Javad Hosseini, Yang Gao, Tim Baumgärtner, Alex Fabrikant и Reinald Kim Amplayo. Модель может ошибаться, терять языковые нюансы и воспроизводить смещения обучающих данных; она не предназначена для других языков или задач. Условия использования определяются лицензией Gemma.