IV.11Патенты, товарные знаки и интеллектуальная собственность

BERT for Patents — языковая модель, обученная Google на корпусе из более чем 100 млн патентов, включая документы за пределами США. Она основана на BERT Large и предназначена для работы с патентными текстами; доступная задача модели — предсказание скрытых токенов в тексте (fill-mask), что можно использовать для анализа терминологии и контекста патентов. Модель имеет 443,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Карточка указывает английский язык. В репозитории доступны веса PyTorch, Safetensors и TensorFlow. Лицензия — Apache 2.0.

kl3m-002-170m-patent — компактная языковая модель института Alea, дообученная на базе kl3m-002-170m для генерации реалистично оформленного патентного текста. Она предназначена для исследовательских прототипов: модель может продолжать патент сверху вниз, от названия и реферата к формуле изобретения, или снизу вверх, от пунктов формулы к реферату и названию. Модель построена на архитектуре GPT-NeoX, содержит 134,2 млн параметров и поддерживает контекст до 4096 токенов. Вход и выход — текст; в карточке указан английский язык. Модель позволяет исследовать автоматизированное составление патентных документов и генерацию потенциальных изобретений на обычном CPU или потребительском GPU. Авторы предупреждают, что большинство сгенерированных идей могут быть бессмысленными или непатентоспособными, а обеспечение разнообразия генераций и снижение риска воспроизведения обучающих данных остаются предметом исследований. Лицензия — CC BY 4.0.

Harness-1 — поисковый агент на базе gpt-oss-20b, опубликованный pat-jj. Это дообученная и объединённая с базовой моделью контрольная точка; веса доступны в формате safetensors для Transformers. Модель предназначена для поиска и извлечения сведений из веб-материалов, патентов, финансовой отчётности SEC и корпуса BrowseComp+. README описывает обучение на 899 траекториях SFT и 3 453 примерах SEC для RL, а также указывает корпусные данные для поиска. Метаданные задают архитектуру GPT-OSS MoE, задачу генерации текста, чат-возможность и контекст до 131 072 токенов. Для работы с опубликованными корпусами потребуется отдельный поисковый контур; сам репозиторий модели содержит веса. Лицензия в предоставленных данных не указана.

Euler-Legal-Embedding-V1 — специализированная модель текстовых эмбеддингов для юридической тематики, созданная дообучением Qwen/Qwen3-Embedding-8B. Она предназначена для семантического поиска по правовым материалам и извлечения релевантных документов; автор сообщает о сильных результатах на задачах юридического поиска и рассуждений в бенчмарке MTEB. Модель использует архитектуру Qwen3 с плотными весами и содержит около 7,6 млрд параметров. Она формирует векторы размерности 4096, применяя pooling последнего токена. В README указан максимальный размер входа 1536 токенов; метаданные каталога указывают нативный контекст базовой модели 40960 токенов, поэтому фактический предел для этой специализированной версии может зависеть от используемой конфигурации. В метаданных заявлена поддержка английского и многоязычия. Модель подходит для построения юридического семантического поиска и ранжирования документов. Она распространяется по лицензии Apache-2.0. README не приводит численных результатов MTEB или подробностей состава обучающего набора, кроме его юридической направленности.

Legal-Embed-intfloat-multilingual-e5-large-instruct — модель Wasserstoff-AI на архитектуре XLM-RoBERTa, дообученная на базе intfloat/multilingual-e5-large-instruct на наборе legal-rag-embedding-dataset. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и ранжирования документов по сходству; в карточке также указаны кластеризация, поиск перефразирований и классификация текста. Модель рассчитана на юридические сценарии, а README описывает английский язык. Размер — 658,7 млн параметров, максимальная длина входа — 514 токенов по метаданным; README указывает ограничение 512 токенов. Для сравнения векторов используется косинусное сходство, доступны укороченные представления меньшей размерности. Лицензия — Apache-2.0.

AdamLucek разработал англоязычную модель Sentence Transformer на основе nomic-ai/modernbert-embed-base, дообучив её на синтетических примерах для юридического поиска. Модель преобразует предложения и абзацы в нормализованные плотные эмбеддинги: основной размер вектора — 768, сходство можно оценивать косинусной мерой. Архитектура включает ModernBERT, усреднение токеновых представлений и нормализацию; максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска по юридическим документам и поиска релевантных фрагментов для RAG, а также для сравнения текстов, поиска перефразирований, кластеризации и классификации. Matryoshka-обучение позволяет использовать укороченные эмбеддинги размерностью 512, 256, 128 или 64, с некоторым снижением показателей поиска относительно полного вектора. Выпускается в формате safetensors и распространяется по лицензии Apache-2.0.

gbpatentdata/lt-patent-inventor-linking — модель эмбеддингов на архитектуре MPNet, разработанная на основе sentence-transformers/all-mpnet-base-v2 и дообученная с помощью LinkTransformer. Она предназначена для сопоставления текстовых описаний патентов и изобретателей: модель кодирует тексты в векторы, которые можно сравнивать для поиска похожих записей и кластеризации. Модель рассчитана на английский язык и имеет 136,7 млн параметров; формат весов — safetensors, длина контекста — 514 токенов. Модель подходит для поиска и связывания записей об изобретателях в патентных данных, а также для кластеризации таких записей с помощью LinkTransformer. В README указана оценка стандартными метриками информационного поиска LinkTransformer, однако численные результаты не приведены. Лицензия в предоставленных данных не указана.

Sri1999/modernbert-embed-base-legal-matryoshka-2 — англоязычная модель Sentence Transformers, дообученная на парах текстов юридической тематики на базе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные нормализованные векторы размерности 768 для семантического поиска, сравнения сходства, поиска перефразировок, классификации и кластеризации текстов. Архитектура включает ModernBERT, усреднение токенных представлений и нормализацию; максимальная длина входа — 8192 токена. Matryoshka-обучение позволяет использовать укороченные векторы размерностью 512, 256, 128 или 64 с некоторым снижением качества поиска. Модель предназначена для поиска и сопоставления англоязычных юридических текстов, например запросов с фрагментами документов. README приводит оценку поиска на нескольких размерах векторов, но не описывает тестовый набор достаточно подробно для обобщения показателей на реальные данные. Распространяется по лицензии Apache-2.0.

Это англоязычная модель Sentence Transformers, дообученная на синтетических парах юридических запросов и документов. Она основана на nomic-ai/modernbert-embed-base и предназначена для преобразования предложений и абзацев в плотные векторы размерности 768, пригодные для семантического поиска, сравнения текстов и поиска перефразировок в юридических материалах. Архитектура включает ModernBERT, усредняющий пулинг токенов и нормализацию векторов. Модель принимает последовательности длиной до 8192 токенов; сходство векторов можно оценивать косинусной мерой. В карточке приведены результаты оценки поиска и сведения о дообучении на датасете из 5175 пар запросов и релевантных документов. Модель распространяется по лицензии Apache-2.0. Её специализация и данные обучения ориентированы на англоязычные юридические тексты; синтетический обучающий набор и результаты на указанных тестах не гарантируют качество на других юридических корпусах или задачах. Это модель эмбеддингов: для генерации ответов её следует использовать как компонент поискового контура, а не как самостоятельную генеративную модель.

ModernBERT Embed base Legal Matryoshka — англоязычная модель Sentence Transformers, дообученная adamNLP на базе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные нормализованные векторы размерностью 768 для семантического поиска по юридическим материалам, сравнения сходства текстов, поиска перефразировок, классификации и кластеризации. Архитектура включает ModernBERT, усреднение токенных представлений и нормализацию; модель принимает последовательности длиной до 8192 токенов. Matryoshka-обучение позволяет усекать векторы до 512, 256, 128 или 64 измерений с некоторым снижением качества поиска. Модель обучена на 5822 парах текстов из набора json, где представлены юридические фрагменты и вопросы к ним. Для сравнения используется косинусное сходство; указанные в карточке результаты поиска относятся к этому набору и не гарантируют аналогичного качества на других юридических корпусах. Лицензия — Apache-2.0.

ChemicalOCR — компактная модель компьютерного зрения и языка от Docling Project, дообученная на базе SmolDocling для распознавания текста на изображениях химических структур. Она принимает изображение молекулярного рисунка и извлекает текстовые фрагменты с ограничивающими рамками, распознавая подписи атомов, химические сокращения и пояснительный текст рядом со структурой. Модель основана на архитектуре Idefics3ForConditionalGeneration и содержит 256 млн параметров. ChemicalOCR предназначена для OCR химических схем, в том числе для извлечения текста и координат его расположения из патентных документов. В README приведены результаты на наборах M2S, USPTO-M и IP5-M, где модель показала F1 от 86,5 до 93,0 при IoU 0,5. Она также может использоваться как компонент конвейера MarkushGrapher-2 для распознавания химических структур. Лицензия — Apache-2.0.

Карточка модели introvoyz041/ChemicalOCR на Hugging Face совпадает с карточкой docling-project/ChemicalOCR, поэтому описание составлено по ней. ChemicalOCR — компактная модель компьютерного зрения и языка от Docling Project, дообученная на базе SmolDocling для распознавания текста на изображениях химических структур. Она принимает изображение молекулярного рисунка и извлекает текстовые фрагменты с ограничивающими рамками, распознавая подписи атомов, химические сокращения и пояснительный текст рядом со структурой. Модель основана на архитектуре Idefics3ForConditionalGeneration и содержит 256 млн параметров. ChemicalOCR предназначена для OCR химических схем, в том числе для извлечения текста и координат его расположения из патентных документов. В README приведены результаты на наборах M2S, USPTO-M и IP5-M, где модель показала F1 от 86,5 до 93,0 при IoU 0,5. Она также может использоваться как компонент конвейера MarkushGrapher-2 для распознавания химических структур. Лицензия — Apache-2.0.

IoannisKat1/legal-bert-base-uncased-new — англоязычная модель Sentence Transformers, дообученная разработчиком на базе nlpaueb/legal-bert-base-uncased для получения эмбеддингов юридических предложений и документов. Архитектура состоит из BERT-энкодера и mean pooling; модель отображает текст в плотные векторы размерности 768, сравниваемые по косинусному сходству. Максимальная длина входа — 512 токенов. Модель предназначена для поиска и сопоставления юридических текстов по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска перефразировок и кластеризации; README также упоминает классификацию текста. В карточке приведены результаты поиска по наборам разной размерности эмбеддингов и указан обучающий набор из 391 пары anchor-positive. Модель рассчитана на английский язык и использует лицензию Apache-2.0. Результаты оценки приведены для конкретного набора данных, а обучающая выборка невелика; качество на иных юридических корпусах и языках может отличаться. Входная последовательность ограничена 512 токенами.

PIXIE-Splade-v1.5 — двуязычный разреженный энкодер для поиска, разработанный TelePIX Co., Ltd. Модель дообучена для задач поиска на корейском и английском языках и показывает сильные результаты в аэрокосмической тематике, а также на ряде общих наборов данных для поиска. Модель построена на ModernBERT с архитектурой ModernBertForMaskedLM и SPLADE-пулингом: она преобразует текст в разреженные векторы размерности 50 000, пригодные для индексации в Lucene или Elasticsearch. Веса токенов можно анализировать, чтобы понять, какие термины повлияли на совпадение. README указывает максимальную длину последовательности 5 632 токена; метаданные каталога сообщают нативное контекстное окно 16 384 токена. Модель предназначена для поиска по документам, технических вопросов и ответов и гибридного поиска в сочетании с плотными энкодерами. В README приведены оценки nDCG@10 на корейских, английских и аэрокосмических наборах данных, но они не гарантируют аналогичного качества на других корпусах. Для применения требуется поисковая система с поддержкой разреженных векторов или совместимая схема индексации. Лицензия — Apache-2.0.

Patent-Instruct-LLaMA-Pro — объединённая с помощью mergekit языковая модель семейства LLaMA, разработанная Arcee AI на основе arcee-ai/Patent-Instruct-7b и TencentARC/LLaMA-Pro-8B-Instruct. Она предназначена для генерации текста в диалоговом формате и может применяться для ответов на вопросы и подготовки текстов по патентной тематике. Модель имеет плотную архитектуру LlamaForCausalLM и 8,2 млрд параметров. Контекст составляет 4096 токенов; репозиторий содержит веса в формате safetensors. В метаданных указана лицензия Apache-2.0. README не уточняет языковой охват, методы оценки качества или ограничения применения.

Patent-Instruct-Llama-2-Chat-7B-Slerp — объединённая методом SLERP языковая модель на основе Llama 2 7B Chat и Patent-Instruct-7b, созданная с помощью mergekit. Она предназначена для генерации текста в формате диалога и инструкций, в том числе для задач, связанных с патентами. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и библиотеку Transformers; максимальный контекст — 2048 токенов. Объединение сочетает диалоговую модель Llama 2 7B Chat с моделью, настроенной на инструкции в патентной области. Репозиторий содержит веса в формате safetensors. Модель принимает текст и генерирует текст. Лицензия в предоставленных данных не указана.

kobert-patent-baseline — дообученная модель классификации текста на базе monologg/kobert, опубликованная пользователем ingyoun. Она предназначена для классификации корейских текстов; название указывает на патентную тематику, однако README не уточняет набор классов и обучающие данные. Модель использует архитектуру BERT и содержит 119,4 млн параметров. Максимальная длина контекста — 512 токенов. В карточке приведены результаты оценки: weighted F1 0,8105, micro F1 0,8111, macro F1 0,7857 и precision at k от 0,8940 при k=1 до 0,9788 при k=5. Эти показатели относятся к оценочному набору, описание которого не раскрыто, поэтому их нельзя напрямую переносить на другие данные. Модель распространяется по лицензии Apache-2.0.

MachineLearningLawyer/moderate-101-rejection-examiner — модель бинарной классификации текста, обученная с помощью AutoTrain на наборе данных Awesome7749/autotrain-data-patent-101. Она построена на архитектуре DeBERTa и содержит 151,8 млн параметров; модель принимает текст длиной до 512 токенов и предназначена для отнесения примеров к одному из двух классов. В карточке приведены метрики валидации: accuracy 0,851, precision 0,598, recall 0,537, AUC 0,846 и F1 0,566. По названию и датасету модель ориентирована на классификацию патентных заявок по признаку отклонения, однако описание классов и правила их интерпретации в карточке не раскрыты. Лицензия не указана в предоставленных данных.

Многоязычная языковая модель Joel Niklaus на архитектуре RoBERTa, предварительно обученная на юридических текстах из набора MultiLegalPile. Модель содержит 533,7 млн параметров, принимает текст с маскированными токенами и предсказывает их; длина контекста — 514 токенов. В карточке указаны немецкий, французский и итальянский языки, а набор данных охватывает 24 языка. Модель предназначена прежде всего для дообучения под юридические задачи классификации последовательностей и токенов, а также для ответа на вопросы. Её специализация на юридических текстах может быть полезна в этой области, но качество на текстах других тематик может снижаться. Лицензия — CC BY-SA.

Многоязычная языковая модель Joel Niklaus для юридических текстов, основанная на архитектуре RoBERTa и семействе XLM-R. Модель содержит 533,7 млн параметров, принимает текст и предсказывает замаскированные слова; максимальный контекст — 514 токенов. Она предварительно обучена на юридических материалах набора MultiLegalPile, охватывающего 24 языка. Модель предназначена прежде всего для дообучения под юридические задачи классификации последовательностей и токенов, а также ответы на вопросы. Её можно использовать для заполнения пропусков в юридическом тексте. Для генерации связного текста она не предназначена, а на текстах вне юридической области качество может отличаться. Возможны стереотипные и вредные предсказания. Лицензия — CC BY-SA.

arcee-ai создала Patent-Base-InternLM2-7B-Ties — объединённую методом TIES языковую модель для генерации текста. В слияние вошли NousResearch/Llama-2-7b-hf, arcee-ai/Patent-Base-7b и chargoddard/internlm2-7b-llama; базой указана Llama-2-7b-hf. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 4096 токенов. Модель предназначена для генерации текста и может применяться для задач на основе языкового моделирования, включая сценарии, связанные с патентной тематикой. Репозиторий содержит веса в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

patentClassificationLongFormer2 — дообученная модель классификации текста на основе allenai/longformer-large-4096. Она предназначена для отнесения длинных текстов к классам; название указывает на классификацию патентов, однако карточка не описывает набор классов и конкретный сценарий применения. Модель содержит около 454,1 млн параметров и рассчитана на контекст до 4098 токенов. В README приведены результаты на оценочной выборке: accuracy 0,6915 и F1 0,6830. Данные обучения обозначены как None, поэтому состав обучающей выборки и переносимость результатов на другие тексты установить нельзя. Модель распространяется в формате PyTorch; лицензия в предоставленных данных не указана.

KL3M 170M — языковая модель Alea Institute для генерации текста на юридическую тематику. Это плотная Llama-архитектура с Grouped Query Attention: 30 слоёв, 181,7 млн параметров и контекст до 4096 токенов. Контрольная точка обучена на многоотраслевом корпусе юридических текстов, включая судебные материалы, федеральные нормативные акты, патенты и документы SEC; в обучении применялись оптимизатор Muon и спектральная регуляризация. Модель предназначена для генерации связного текста в стиле юридических документов: аргументации для судебных материалов, нормативных формулировок, патентных притязаний и корпоративной финансовой отчётности. Карточка сообщает об улучшении контроля повторов относительно более ранних контрольных точек, но не приводит независимых оценок качества. Это контрольная точка на 63 000 шаге, использующая BF16 и формат safetensors; лицензия — Apache-2.0. Основной язык карточки — английский.

Narrativa разработала испаноязычную модель для юридических текстов на архитектуре Longformer и RoBERTa. Это модель с 153,2 млн параметров, дообученная на задаче masked language modeling на корпусах испанского юридического домена и основанная на чекпойнте RoBERTalex. Она принимает последовательности длиной до 4 098 токенов и использует локальное скользящее внимание вместе с настраиваемым глобальным вниманием. Модель предназначена для заполнения маскированных токенов и получения представлений длинных испанских юридических документов; она может служить основой для адаптации к прикладным задачам обработки юридического текста. Доступна в формате PyTorch по лицензии MIT. В README отмечено, что модель может содержать смещения и нежелательные искажения; при использовании производных систем ответственность за снижение рисков и соблюдение применимых норм лежит на пользователе.

AdaptLLM/law-LLM — специализированная языковая модель для юридических задач, разработанная командой AdaptLLM на основе LLaMA-1-7B. Это плотная авторегрессионная модель примерно на 6,6 млрд параметров; её обучали продолжением предобучения на профильных корпусах, преобразованных в материалы для чтения с пониманием текста. Такой подход предназначен для сохранения способности отвечать на запросы и использовать юридические знания. Модель принимает текст и генерирует текст на английском языке. Модель рассчитана на генерацию ответов и решение юридических задач по текстовым запросам, включая оценивание на специализированных юридических наборах. В README авторы рекомендуют для более высокого качества диалога использовать отдельную чат-версию; law-LLM является базовой доменной моделью, а не чат-моделью. Репозиторий предоставляет веса в форматах PyTorch и Safetensors. Модель выпущена в рамках исследовательской работы, принятой на ICLR 2024; условия лицензии в предоставленных сведениях не описаны.

Карточка модели kallam/Saul-Instruct-v1 на Hugging Face совпадает с карточкой Equall/Saul-7B-Instruct-v1, поэтому описание составлено по ней. Saul-7B-Instruct-v1 — языковая модель Equall.ai, разработанная совместно с CentraleSupélec, Sorbonne Université, Instituto Superior Técnico и NOVA School of Law. Это плотная причинная модель семейства Mistral на 7,1 млрд параметров, полученная продолжением предобучения Mistral-7B и настроенная для выполнения инструкций в юридической области. Модель работает с текстом на английском языке, поддерживает диалоговый сценарий и имеет контекстное окно до 32 768 токенов. Модель предназначена для генерации текста в юридических задачах: например, для подготовки черновиков и ответов на запросы. Карточка предупреждает, что ответы могут быть неточными или бессмысленными, а качество модели на 7B параметров может уступать более крупной версии на 70B. Лицензия — MIT.

Legal Longformer Large — англоязычная модель семейства Longformer, опубликованная LexLM как производная от LexLM Large на базе RoBERTa. Для неё расширили позиционные эмбеддинги, клонировав исходные, чтобы обрабатывать более длинные документы; модель содержит 453,9 млн параметров и рассчитана на контекст до 4098 токенов. Модель обучена продолжать предобучение на юридическом корпусе LeXFiles и предназначена для заполнения замаскированных фрагментов текста в длинных юридических документах. Её можно использовать как основу для языкового анализа юридических текстов и дальнейшего дообучения под прикладные задачи. Доступны веса PyTorch; лицензия — CC BY-SA 4.0.

RoBERTaLexPT-base — португалоязычная языковая модель с архитектурой RoBERTa-base, разработанная Eduarda Garcia и предварительно обученная с нуля на корпусах LegalPT и CrawlPT. Модель содержит 151,8 млн параметров и рассчитана на работу с португальским языком, включая варианты pt-BR и pt-PT; максимальная длина контекста составляет 514 токенов. Модель предназначена для заполнения маскированных фрагментов текста и может служить основой для задач NLP в юридической сфере. В карточке приведена оценка на четырёхзадачном юридическом бенчмарке PortuLex. Для обучения использовались дедупликация корпусов и отдельный BPE-словарь. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0), требующая указания авторства.

CheMatE-v0 — модель для построения эмбеддингов химических текстов и молекул, представленных в формате SMILES. Она разработана SchwallerGroup и дообучена на базе SchwallerGroup/CheMatE-v0-MLM. Модель использует архитектуру ModernBERT, содержит 149 млн параметров и обрабатывает последовательности длиной до 8192 токенов. Модель предназначена для получения векторных представлений описаний на естественном языке и молекулярных строк, например для поиска химически похожих записей и сопоставления текста с молекулами. Она распространяется в формате safetensors и используется через Sentence Transformers. Лицензия — MIT.

LEGAL-ROBERTA — языковая модель семейства RoBERTa для юридических текстов, разработанная Saibo-creator и дообученная на корпусах объёмом около 4,6 ГБ. В обучающие данные вошли материалы о патентных спорах, судебные решения США и общедоступные патентные данные Google. Модель содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и доступна в форматах PyTorch, TensorFlow и Flax под лицензией Apache-2.0. Основная задача модели — предсказывать пропущенные токены в юридическом тексте. Это может помочь при анализе формулировок договоров, судебных решений и патентных документов; карточка также приводит результаты оценки на классификации юридических текстов и поиске ключевых фраз, но основное назначение репозитория — заполнение пропусков. Модель обучалась преимущественно на англоязычных юридических материалах. В README автор отмечает, что модель недообучена из-за ограниченного объёма доступных юридических корпусов и небольшого числа шагов предобучения. В демонстрации заполнения пропусков токенизатор показывает префикс Ġ у токенов, что может осложнять чтение вывода.