Характеристики

Контекст: 514 токенов
Параметры: 96,6 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 2 мар 2022

Ссылки

SecBERT

Заполнение пропусковТекст → текст3 профессии

Англоязычная BERT-модель, обученная на текстах по кибербезопасности для восстановления скрытых токенов и адаптации к профильным NLP-задачам.

112 тыс.скачиваний за 30 дней65лайковвеса обновлены26 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SecBERT — предварительно обученная языковая модель семейства BERT, разработанная для работы с текстами по кибербезопасности. Модель обучена на корпусе материалов APTnotes, Stucco-Data, CASIE и отчётов SemEval-2018 Task 8. Она использует собственный WordPiece-словарь secvocab, адаптированный к этой тематике; архитектура — BertForMaskedLM, размер — 96,6 млн параметров, контекст — 514 токенов.

Основной сценарий применения — предсказание скрытых токенов в текстах по кибербезопасности. Модель также предназначена для дальнейшего использования в задачах распознавания сущностей, классификации текста, семантического анализа и ответов на вопросы в этой области. Поддерживаемый язык — английский. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

восстановление пропущенных токенов в отчётах по кибербезопасности
адаптация модели для классификации текстов об угрозах
распознавание сущностей в отчётах о кибератаках
семантический анализ материалов threat intelligence
подготовка системы ответов на вопросы по кибербезопасности

Ограничения

Модель предназначена для англоязычных текстов по кибербезопасности; заявленные задачи классификации, распознавания сущностей и ответов на вопросы требуют downstream-адаптации. Самостоятельная карточка описывает прежде всего предсказание скрытых токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей IV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SecBERT

This is the pretrained model presented in SecBERT: A Pretrained Language Model for Cyber Security Text, which is a BERT model trained on cyber security text.

The training corpus was papers taken from

SecBERT has its own wordpiece vocabulary (secvocab) that's built to best match the training corpus.

We trained SecBERT and SecRoBERTa versions.

Available models include:

Fill Mask

We proposed to build language model which work on cyber security text, as result, it can improve downstream tasks (NER, Text Classification, Semantic Understand, Q&A) in Cyber Security Domain.

First, as below shows Fill-Mask pipeline in Google Bert, AllenAI SciBert and our SecBERT .

fill-mask-result

The original repo can be found here.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 7c603df