/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
443 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Опубликована
31 мар 2022

Ссылки

Hugging Face

bert-for-patents-64d

prithivida
ЭмбеддингиТекст → embedding4 профессии

BERT-модель для извлечения компактных 64-мерных эмбеддингов патентных текстов и семантического поиска по ним.

322скачиваний за 30 дней9лайковвеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель prithivida/bert-for-patents-64d — версия BERT для патентных текстов, основанная на anferico/bert-for-patents. Разработчик сократил размер эмбеддингов с помощью PCA с 1024 до 64 измерений, чтобы уменьшить объём их хранения при работе с миллионами векторов. Модель предназначена для извлечения признаков из текста и сценариев семантического поиска по патентам, в том числе с использованием векторных баз данных.

Исходная модель обучена Google на более чем 100 млн патентов, включая патенты разных стран, а не только США. У модели архитектура BERT Large, около 443,5 млн параметров и контекст до 512 токенов. Доступны веса PyTorch и TensorFlow; лицензия — Apache-2.0.

Сжатие эмбеддингов снижает требования к месту для их хранения, но, согласно карточке, не ускоряет работу модели и не уменьшает память, необходимую при её запуске. README сообщает о сопоставимом качестве после сокращения размерности, но не приводит подробностей оценки.

Сценарии применения

  • семантический поиск похожих патентов
  • создание компактных эмбеддингов для патентной коллекции
  • поиск патентов через векторную базу данных
  • извлечение признаков из англоязычных патентных текстов

Ограничения

Сокращение размерности уменьшает объём хранения эмбеддингов, но не ускоряет вычисления и не снижает потребление памяти при запуске модели. Контекст ограничен 512 токенами; заявленная сопоставимость качества не сопровождается подробностями оценки.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.11Отраслевые задачиПатенты, товарные знаки и интеллектуальная собственностьAI помогает искать предшествующий уровень техники, оценивать портфель и отслеживать нарушения прав.32 задачи490моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Motivation

This model is based on anferico/bert-for-patents - a BERTLARGE model (See next section for details below). By default, the pre-trained model's output embeddings with size 768 (base-models) or with size 1024 (large-models). However, when you store Millions of embeddings, this can require quite a lot of memory/storage. So have reduced the embedding dimension to 64 i.e 1/16th of 1024 using Principle Component Analysis (PCA) and it still gives a comparable performance. Yes! PCA gives better performance than NMF. Note: This process neither improves the runtime, nor the memory requirement for running the model. It only reduces the needed space to store embeddings, for example, for semantic search using vector databases.

BERT for Patents

BERT for Patents is a model trained by Google on 100M+ patents (not just US patents).

If you want to learn more about the model, check out the blog post, white paper and GitHub page containing the original TensorFlow checkpoint.

Projects using this model (or variants of it):

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
a337ab9

0 моделей

    Создать бенчмарк