IV.11Патенты, товарные знаки и интеллектуальная собственность

PaECTER — модель для оценки семантического сходства патентных текстов, построенная на базе Google BERT for Patents. Она создаёт плотные векторы размерностью 1024 для патентных текстов, пригодные для семантического поиска, поиска предшествующего уровня техники, кластеризации и анализа патентных ландшафтов. Модель использует архитектуру BERT; максимальная длина контекста — 512 токенов. PaECTER обучена с использованием функции потерь на триплетах, учитывающей цитирования патентов. Её можно применять для извлечения эмбеддингов и сравнения патентов в последующих задачах анализа. Вход — текст на английском языке, выход — векторные представления. Модель распространяется по лицензии Apache-2.0.

patembed-basesmall — модель Sentence Transformer из проекта PatenTEB, предназначенная для построения эмбеддингов патентных текстов. Она разработана для поиска и анализа патентных документов; при выводе рекомендуется использовать специализированные для задачи инструкционные префиксы. Модель основана на архитектуре BERT и дистиллирована из datalyes/patembed-large с использованием слоёв 0, 3, 6, 9, 12, 15, 18 и 21. В карточке указаны 143 млн параметров, 8 слоёв, размер скрытого состояния 1024, эмбеддинги размерности 512 и максимальная длина последовательности 512 токенов; метаданные каталога оценивают размер в 175 млн параметров. Модель рассчитана на английские тексты и принимает текст, выдавая векторные представления для сравнения семантической близости. Подходит для поиска патентов и предшествующего уровня техники, классификации и кластеризации патентных документов, а также анализа технологических направлений. Лицензия CC BY-NC-SA 4.0 требует атрибуции и ограничивает коммерческое использование; модель ориентирована на патентные тексты и английский язык.

patembed-largenoprompts — модель Sentence Transformer семейства patembed, разработанная в рамках проекта PatenTEB для построения эмбеддингов патентных текстов. Это вариант без инструкционных префиксов, созданный как абляция для оценки влияния подсказок на качество. Архитектура основана на BERT для патентных текстов; метаданные указывают 443,5 млн параметров, а в README приведены 344 млн, 24 слоя и размер эмбеддинга 1024. Максимальная длина последовательности — 512 токенов. Модель рассчитана на английский язык и принимает текст, выдавая векторные представления для поиска и сравнения сходства. Модель предназначена для патентного поиска и извлечения документов, поиска предшествующего уровня техники, классификации и кластеризации патентов, а также анализа технологических направлений. Обучение проводилось в режиме многозадачного обучения на 13 задачах бенчмарка PatenTEB. Лицензия — CC BY-NC-SA 4.0, предусматривающая указание авторства, распространение производных материалов на тех же условиях и ограничения на коммерческое использование.

PatentMap-V0-SecPair-Claim — англоязычная модель эмбеддингов для патентных текстов, созданная как часть коллекции PatentMap V0 на базе anferico/bert-for-patents. Модель дообучена контрастивным обучением InfoNCE на парах разделов патентных заявок: аннотации и формулы изобретения. Архитектура BERT Large содержит 340 млн параметров; размерность эмбеддинга — 1024, максимальная длина последовательности — 512 токенов. Модель принимает текст патента с маркерами разделов, например `[claim]` для формулы изобретения; аннотацию можно передавать вместе с названием через `[SEP] [abstract]`. Она предназначена для поиска патентов и аналогов, оценки сходства, обнаружения известного уровня техники, классификации IPC и анализа патентного ландшафта. Обучение проводилось на англоязычных патентных заявках USPTO 2010–2018 годов из корпуса HUPD. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

datalyes/patembed-base — модель Sentence Transformers для создания векторных представлений патентных текстов, разработанная в рамках проекта PatenTEB. Она предназначена для поиска и извлечения патентов, поиска предшествующего уровня техники, классификации и группировки патентов, а также анализа технологических направлений. Модель основана на архитектуре BERT: 12 слоёв, размер скрытого представления 1024 и проекция в эмбеддинги размерности 768. Контекст ограничен 512 токенами. Модель обучена для англоязычных патентных текстов и использует специальные инструкции для отдельных задач при инференсе. В метаданных указано 242,1 млн параметров; README указывает 193 млн. Это дистиллированная версия patembed-large. Модель выдаёт эмбеддинги, пригодные для сравнения семантической близости текстов и поиска. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные работы на тех же условиях с ограничением некоммерческого использования.

datalyes/patembed-base_long_4096 — модель Sentence Transformers, разработанная в рамках проекта PatenTEB для получения векторных представлений патентных текстов. Она построена на архитектуре gte-modernbert-base с расширенным контекстом и дообучена методом многозадачного обучения на 13 задачах бенчмарка PatenTEB. Модель предназначена для поиска патентов и предшествующего уровня техники, извлечения похожих документов, классификации и кластеризации патентов, а также анализа технологических направлений. Она создаёт эмбеддинги размерности 768; в README указано максимальное окно последовательности 4096 токенов, а метаданные указывают нативный контекст 8192 токена. Для оптимального результата при инференсе следует использовать инструкции, специфичные для задачи. Модель содержит 149 млн параметров, имеет 22 слоя и поддерживает английский язык. Репозиторий использует формат safetensors и библиотеку sentence-transformers. Лицензия CC BY-NC-SA 4.0 требует атрибуции и ограничивает коммерческое использование.

patembed-large — модель Sentence Transformers для получения векторных представлений патентных текстов. Она разработана командой проекта PatenTEB и предназначена для поиска и анализа патентных документов. Модель использует 24-слойную архитектуру BERT, дообученную на патентных корпусах и задачах бенчмарка PatenTEB; размер эмбеддинга составляет 1024, максимальная длина входа — 512 токенов. Метаданные каталога указывают 443,5 млн параметров, а README — 344 млн. Модель рассчитана на англоязычные патенты. Её применяют для поиска патентов и предшествующего уровня техники, сравнения документов по смыслу, классификации и кластеризации патентных текстов, а также анализа технологических направлений. Для оптимальной работы при выводе следует использовать инструкционные промпты, соответствующие задаче. Лицензия — CC BY-NC-SA 4.0, предусматривающая некоммерческое использование с сохранением условий атрибуции и распространения на тех же условиях.

bhlim/bge-base-patentmatch — англоязычная Sentence Transformer модель, дообученная разработчиком bhlim на наборе bhlim/patentmatch_for_finetuning для поиска и сопоставления патентных текстов. Она основана на BAAI/bge-base-en-v1.5 с архитектурой BERT: вектор CLS-токена проходит нормализацию и преобразуется в плотный эмбеддинг размерности 768. Модель принимает текстовые предложения и абзацы длиной до 512 токенов, а сходство векторов можно оценивать косинусной близостью. Обучение с MatryoshkaLoss поддерживает получение эмбеддингов меньшей размерности. Модель предназначена для семантического поиска и сравнения текстов, включая поиск похожих патентных фрагментов; также в карточке указаны кластеризация, поиск перефразирований и использование эмбеддингов для классификации. Репозиторий распространяется в формате safetensors, библиотека — sentence-transformers. Лицензия Apache-2.0. Результаты оценки информационного поиска в карточке приведены для нескольких размерностей эмбеддинга; перед применением в конкретном патентном корпусе качество стоит проверить на целевых данных.

KORPatent-BGE — модель эмбеддингов для поиска и сопоставления корейских патентных текстов, разработанная sttempler на основе BAAI/bge-m3. Модель дообучена методом curriculum triplet learning: пары для обучения формировались по иерархии классификации IPC и ограничениям на пересечение ключевых слов, без псевдооценок сходства от других моделей. После дообучения веса интерполировали с KURE-v1. Модель предназначена для семантического поиска патентов и предшествующего уровня техники, кластеризации и удаления дубликатов, оценки сходства патентных документов и поиска фрагментов для RAG. Она построена на архитектуре XLM-RoBERTa, содержит около 658,7 млн параметров и принимает текст, выдавая векторы эмбеддингов и оценки сходства. Основной язык — корейский; базовая BGE-M3 поддерживает многоязычный поиск. Длина контекста — 8194 токена. Лицензия — MIT. Модель ориентирована на патентную тематику и может быть полезна для различения близких технических понятий в патентных текстах. Она не предназначена для юридических консультаций, заключений о действительности патента, нарушении прав или толковании объёма патентных требований; для значимых решений требуется экспертная проверка.

PHOENIX — разработанная для поиска патентных изображений модель на основе CLIP ViT-B/16 от OpenAI, дообученная с помощью иерархического многоположительного контрастивного обучения. Она кодирует технические чертежи и иллюстрации из патентных документов в векторные представления, чтобы находить визуально или семантически близкие изобретения, в том числе из разных патентов и подклассов Locarno. Модель предназначена для поиска аналогов и предшествующего уровня техники, группировки изображений патентов и анализа сходства дизайнов. В README сообщается об оценке на наборе DeepPatent2 и улучшении поиска внутри категорий и переноса между связанными категориями; для получения эмбеддингов и вычисления косинусного сходства приведён сценарий использования через Transformers. Модель принимает изображения и выдаёт векторные представления, пригодные для поиска по сходству. Она адаптирована к патентным техническим изображениям и использует иерархию классификации Locarno. Репозиторий распространяется по лицензии MIT. README описывает обёртку с классом PatentEmbeddingModel, тогда как метаданные указывают архитектуру CLIPModel; реализацию интеграции следует сверить с файлами репозитория. Модель предназначена для извлечения признаков и поиска изображений, а не для генерации изображений.

Карточка модели patentory/patentory_model на Hugging Face совпадает с карточкой LeopoldBloom2K/patentscout-models, поэтому описание составлено по ней. LeopoldBloom2K/patentscout-models — дообученная модель Sentence Transformers на базе mpi-inno-comp/paecter для преобразования английских предложений и абзацев в плотные эмбеддинги. Она использует архитектуру BERT с усреднённым пулингом токенов, формирует векторы размерности 1024 и сравнивает их по косинусному сходству. Максимальная длина входа — 512 токенов; модель опубликована в формате safetensors и рассчитана на работу с библиотекой Sentence Transformers. Модель подходит для семантического поиска и сравнения патентных текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Обучение описано как дообучение с MultipleNegativesRankingLoss на наборе из 250 примеров с парами и отрицательными примерами. Лицензия в предоставленных данных не указана.

PatentSBERTa_V2 — модель эмбеддингов на базе MPNet, разработанная группой AI: Growth-Lab при Aalborg University Business School для работы с патентными текстами. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для оценки семантического сходства, поиска и группировки патентов, а также задач классификации и анализа дистанции между патентами. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; заявленная длина контекста — 514 токенов. Обучение проводилось с CosineSimilarityLoss. Карточка не сообщает поддерживаемые естественные языки и лицензию, поэтому их нельзя определить по доступным данным.

pat_specter — модель эмбеддингов предложений, разработанная mpi-inno-comp и дообученная на патентных текстах на базе SPECTER 2.0 от Allen Institute for AI. Она построена на архитектуре BERT и преобразует текст патента в плотный вектор размерности 768 для поиска сходства и других специализированных задач с патентными документами. Модель предназначена для сравнения патентных текстов и извлечения их векторных представлений. Она принимает текст на английском языке, поддерживает контекст до 512 токенов и распространяется в формате PyTorch. PaECTER, согласно карточке, показывает более высокую производительность. Лицензия — Apache-2.0.

LeopoldBloom2K/patentscout-models — дообученная модель Sentence Transformers на базе mpi-inno-comp/paecter для преобразования английских предложений и абзацев в плотные эмбеддинги. Она использует архитектуру BERT с усреднённым пулингом токенов, формирует векторы размерности 1024 и сравнивает их по косинусному сходству. Максимальная длина входа — 512 токенов; модель опубликована в формате safetensors и рассчитана на работу с библиотекой Sentence Transformers. Модель подходит для семантического поиска и сравнения патентных текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Обучение описано как дообучение с MultipleNegativesRankingLoss на наборе из 250 примеров с парами и отрицательными примерами. Лицензия в предоставленных данных не указана.

Patent SBERT-adapt-ub — англоязычная SentenceTransformer-модель для создания эмбеддингов патентных текстов и оценки их семантического сходства. Её разработала Grazia Sveva Ascione из Bordeaux School of Economics, Université de Bordeaux. Модель дообучена на базе sentence-transformers/all-MiniLM-L6-v2 с использованием triplet learning и имеет архитектуру BERT с 25,9 млн параметров. Модель преобразует аннотации, формулы изобретений и другие патентные тексты в плотные векторы размерности 384. Их можно использовать для поиска похожих патентов, кластеризации, картирования технологий и патентного ландшафтного анализа. Максимальная длина последовательности — 512 токенов; модель принимает текст и выдаёт эмбеддинги. Она адаптирована к патентной тематике и предназначена для анализа сходства предложений и абзацев. Качество за пределами патентного домена и результаты оценки в предоставленной карточке не описаны. Лицензия в доступных данных не указана.

Модель prithivida/bert-for-patents-64d — версия BERT для патентных текстов, основанная на anferico/bert-for-patents. Разработчик сократил размер эмбеддингов с помощью PCA с 1024 до 64 измерений, чтобы уменьшить объём их хранения при работе с миллионами векторов. Модель предназначена для извлечения признаков из текста и сценариев семантического поиска по патентам, в том числе с использованием векторных баз данных. Исходная модель обучена Google на более чем 100 млн патентов, включая патенты разных стран, а не только США. У модели архитектура BERT Large, около 443,5 млн параметров и контекст до 512 токенов. Доступны веса PyTorch и TensorFlow; лицензия — Apache-2.0. Сжатие эмбеддингов снижает требования к месту для их хранения, но, согласно карточке, не ускоряет работу модели и не уменьшает память, необходимую при её запуске. README сообщает о сопоставимом качестве после сокращения размерности, но не приводит подробностей оценки.

ZoeYou/jepa_lr5e-06_plr0.0001_bs512_tgt512_ema0.996_sigreg0.001_norm_pdim8192_mean_docs5000000 — энкодерная модель на архитектуре BERT для извлечения эмбеддингов научных и патентных текстов и поиска по ним. В репозитории находятся только веса энкодера; модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Для представления статьи используется формат «название [SEP] аннотация», а для поиска рекомендуется применять L2-нормализацию эмбеддингов и скалярное произведение. Модель подходит для построения векторного поиска по научным публикациям и патентам. Она опубликована под лицензией MIT. Карточка не сообщает поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя.

nps-mpnet — модель на основе MPNet, разработанная для выявления предложений с описанием проблем и решений в патентах. Она дообучена на базе sentence-transformers/paraphrase-mpnet-base-v2 с использованием Sentence-Transformers и функции потерь CosineSimilarityLoss. Модель преобразует предложения и абзацы в плотные векторы размерности 768. Это позволяет сравнивать семантическую близость текстов, искать похожие фрагменты и группировать их; заявленное целевое применение — поиск предложений о проблемах и решениях в патентах. Модель принимает текст и выдаёт векторные представления. Она содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. Для работы подходят Sentence-Transformers либо Transformers с корректной операцией pooling. В карточке не указаны лицензия и конкретный список языков; качество для языков помимо обучающих данных не подтверждено.

nategro/nps-mpnet-lds — модель Sentence Transformers на базе MPNet, дообученная для выявления в патентах предложений, описывающих проблему и её решение. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантического сходства, поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста — 514 токенов. В карточке указано обучение с CosineSimilarityLoss на основе sentence-transformers/paraphrase-mpnet-base-v2. Лицензия в доступных данных не указана.

Hiro-Chemical-Insights — мультимодальная модель PatSnap для установления связей между изображениями химических структур и их текстовыми упоминаниями в патентных документах. Она принимает изображение страницы патента с выделенной химической структурой и возвращает связанное с ней название или названия, а также тип структуры: конкретное соединение, заместитель, структура Markush или их сочетание. Модель основана на архитектуре Qwen3-VL и поддерживает диалоговый ввод с изображениями; README рекомендует запускать её с актуальными Transformers и совместимыми с Qwen-VL средствами обработки изображений в GPU-среде. В описанной в README оценке модель показала All Pass@1 91,92 и All Pass@all 88,38, превзойдя приведённый результат Gemini-2.5-Pro на этой задаче. Модель предназначена для исследований и извлечения сведений из патентов, но не для самостоятельных химических, медицинских, юридических или регуляторных решений. Распространяется по лицензии Apache-2.0.

Это encoder-only модель семейства BERT для извлечения признаков из научных и патентных текстов и поиска по ним. В репозитории находятся только веса энкодера; размер модели — 137,1 млн параметров, максимальная длина входа — 512 токенов. Для научной статьи рекомендуется передавать заголовок и аннотацию в формате «title [SEP] abstract». Модель предназначена для получения векторных представлений текстов, которые можно использовать для поиска: в README рекомендуется нормализовать эмбеддинги по L2 и сравнивать их скалярным произведением. Доступна под лицензией MIT. Карточка не описывает обучение на конкретных языках и не приводит оценки качества, поэтому область применения по языку и сравнительную эффективность установить нельзя.

Teux/mpnet-patents-v1 — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, созданная с помощью AutoTrain для семантического сравнения предложений в патентном контексте. Она кодирует текст в плотные векторы, которые можно использовать для поиска похожих патентных формулировок, сопоставления описаний и группировки текстов. Модель содержит 136,7 млн параметров, принимает текст и имеет контекст до 514 токенов. В README приведена метрика validation loss 0,533; других результатов, позволяющих оценить качество на конкретных патентных задачах, не сообщается. Для использования подходит библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

MarkushGrapher-2 — мультимодальная модель Docling Project для распознавания химических структур Маркуша на изображениях патентных документов и преобразования их в представление CXSMILES с таблицей заместителей. Модель обрабатывает изображение через энкодер Swin-B ViT и модуль ChemicalOCR, а затем объединяет визуальные признаки, распознанный текст и сведения о расположении элементов с помощью архитектуры UDOP на базе T5. Декодер пошагово формирует текстовое представление структуры. Модель предназначена для извлечения химических структур и заместителей из патентных изображений, а также для распознавания обычных молекулярных структур в SMILES. В README описано двухэтапное обучение на парах изображение–SMILES и примерах структур Маркуша. Метаданные указывают 386,3 млн параметров и контекст 512 токенов; README приводит отличающуюся оценку в 831 млн параметров. Для применения указана библиотека Transformers и лицензия Apache-2.0.

Patent CPC Predictor — дообученная модель Brad Grimm на основе microsoft/deberta-v3-small для предсказания кодов классификации патентов CPC по заголовку и аннотации патентной заявки. Она предназначена для автоматической классификации патентных документов по разделам, классам и подклассам CPC. В README указана точность 92% для раздела, 88% для класса и 85% для подкласса. Модель использует архитектуру DeBERTa V2, содержит 155 млн параметров и принимает текст с контекстом до 512 токенов. Для обучения использовались заголовки и аннотации выданных патентных заявок; метаданные указывают английский язык. Лицензия — MIT. Для применения потребуется настроить получение предсказаний CPC из выходов модели, поскольку карточка не описывает готовый интерфейс классификации и схему меток.

ModernBERT Embed base Legal Matryoshka — англоязычная модель Sentence Transformers, дообученная stardriver007 на базе nomic-ai/modernbert-embed-base для получения плотных текстовых эмбеддингов. Она предназначена для семантического поиска и сравнения предложений и абзацев, поиска парафраз, кластеризации и классификации текста, в том числе юридических материалов. Архитектура включает ModernBertModel, усредняющий пулинг токенов и нормализацию; модель имеет 149 млн параметров, выдаёт векторы размерности 768 и принимает последовательности до 8192 токенов. Matryoshka-обучение позволяет использовать усечённые векторы меньшей размерности, с приведёнными в карточке метриками поиска для 512, 256, 128 и 64 измерений. Модель обучена на 5822 парах текстов, лицензия Apache-2.0. Карточка приводит результаты поиска, но не раскрывает состав и охват оценочного набора; качество для иных юридических корпусов и языков может отличаться. Поддерживаемый язык — английский.

Patent-Instruct-Orca-2 — текстовая модель генерации на архитектуре Llama, созданная Arcee AI объединением моделей microsoft/Orca-2-7b и arcee-ai/Patent-Instruct-7b с помощью mergekit и метода slerp. Модель содержит 6,6 млрд параметров и поддерживает контекст до 4096 токенов. Она предназначена для генерации текста по инструкциям в задачах, связанных с патентами; базовая модель Orca-2 также ориентирована на рассуждения, понимание текста, математические задачи и суммаризацию. Модель принимает текст и генерирует текст. В репозитории указана лицензия Apache-2.0.

Patent-Instruct-Extended — объединённая языковая модель, созданная Arcee AI на основе arcee-ai/Patent-Instruct-7b методом passthrough с использованием mergekit. Модель предназначена для генерации текста по инструкциям в патентном контексте. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM, содержит 9,8 млрд параметров и поддерживает контекст до 4096 токенов. Доступны веса в формате safetensors; лицензия — Apache-2.0.

Patent-Instruct-Extended-40 — языковая модель Arcee AI, полученная слиянием модели arcee-ai/Patent-Instruct-7b с помощью mergekit. Она предназначена для генерации текста и работы с инструкциями в патентной тематике. Модель построена на архитектуре Llama, содержит 8,2 млрд параметров и имеет контекст длиной 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка сообщает, что это результат слияния, но не приводит подробностей о методике обучения, оценках качества или точном перечне поддерживаемых языков.

Patent-Analyst Embedding LoRA — текстовая модель эмбеддингов, созданная автором репозитория на базе Qwen/Qwen3-Embedding-0.6B. Она предназначена для поиска семантически похожих исторических ответов заявителей на возражения и отклонения экспертизы патентных заявок США (Office Actions). Модель дообучена методом LoRA на парах «отклонение — ответ» с контрастивной функцией потерь и внутрипакетными негативными примерами; содержит 507,6 млн параметров и поддерживает контекст до 32 768 токенов. Модель может помочь находить примеры ответов по новому возражению и служить демонстрацией специализированных эмбеддингов для юридических текстов. Она возвращает представления для семантического поиска, но не оценивает юридическую обоснованность аргументов и не предсказывает исход дела. Обучение охватывает только патентное производство США, а качество поиска зависит от наличия похожих случаев в корпусе. Репозиторий распространяется по лицензии CC BY-NC 4.0; карточка позиционирует модель как исследовательский артефакт и не предназначает её для юридических рекомендаций, автоматической подачи документов или практической работы без независимой проверки специалистом.

LedgerBERT — англоязычная доменно-адаптированная модель BERT-base, разработанная Уолтером Эрнандесом Крусом, Питером Дивайном, Нихилом Вадгамой, Паоло Таской и Джиахуа Сю. Модель продолжительно предобучена на базе SciBERT на корпусе DLT-Corpus из научных публикаций, патентов и сообщений в социальных сетях о блокчейне и распределённых реестрах. В карточке указаны 12 слоёв, 12 голов внимания и контекст до 512 токенов; метаданные Hugging Face указывают 137,1 млн параметров. Модель предназначена для извлечения признаков и анализа англоязычных текстов о распределённых реестрах, криптовалютах, смарт-контрактах и механизмах консенсуса. Её можно применять как основу для классификации документов, анализа тональности, распознавания сущностей, поиска и извлечения информации. Архитектура маскированного языкового моделирования также поддерживает заполнение пропусков в тексте. LedgerBERT специализирована на тематике DLT и может уступать универсальным моделям на общих задачах; для анализа длинных документов требуется разбивать текст на фрагменты. Данные из социальных сетей охватывают период до середины 2023 года, поэтому модель может не отражать более поздние термины и события. Лицензия CC-BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.