Англоязычная BERT Large, обученная Google на более чем 100 млн патентов для предсказания скрытых слов и работы с патентными текстами.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
BERT for Patents — языковая модель, обученная Google на корпусе из более чем 100 млн патентов, включая документы за пределами США. Она основана на BERT Large и предназначена для работы с патентными текстами; доступная задача модели — предсказание скрытых токенов в тексте (fill-mask), что можно использовать для анализа терминологии и контекста патентов.
Модель имеет 443,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Карточка указывает английский язык. В репозитории доступны веса PyTorch, Safetensors и TensorFlow. Лицензия — Apache 2.0.
Модель ограничена английским языком и максимальной длиной последовательности 512 токенов. Карточка не описывает результаты оценки качества или применимость за пределами патентных текстов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
BERT for Patents is a model trained by Google on 100M+ patents (not just US patents). It is based on BERTLARGE.
If you want to learn more about the model, check out the blog post, white paper and GitHub page containing the original TensorFlow checkpoint.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Архитектура BertForMaskedLM неизвестна transformers в образе рантайма.