Характеристики

Контекст: 514 токенов
Параметры: 96,6 млн
Лицензия: Apache 2.0
Архитектура: roberta · dense
Опубликована: 2 мар 2022

Ссылки

SecRoBERTa

Заполнение пропусковТекст → текст3 профессии

Предварительно обученная англоязычная модель RoBERTa для восстановления замаскированных токенов и адаптации к задачам анализа текстов по кибербезопасности.

13 621скачиваний за 30 дней27лайковвеса обновлены26 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SecRoBERTa — предварительно обученная языковая модель RoBERTa для текстов по кибербезопасности, представленная авторами работы SecBERT. Модель содержит 96,6 млн параметров, использует собственный WordPiece-словарь secvocab и принимает последовательности длиной до 514 токенов. Основная задача — восстановление замаскированных токенов в англоязычных текстах о кибербезопасности.

Модель предназначена для адаптации к прикладным задачам анализа кибербезопасности, включая распознавание сущностей, классификацию текста, извлечение смысла и ответы на вопросы. В обучающий корпус вошли APTnotes, Stucco-Data, CASIE и материалы SemEval-2018 Task 8. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия — Apache-2.0.

Модель специализирована на предметной лексике кибербезопасности, однако карточка описывает её как предварительно обученную основу, а не как готовое решение для перечисленных downstream-задач. Контекст ограничен 514 токенами; подтверждена поддержка английского языка.

Сценарии применения

восстановление пропущенных токенов в отчетах по кибербезопасности
подготовка основы для распознавания сущностей в отчетах об угрозах
адаптация к классификации текстов о кибератаках и угрозах
адаптация к извлечению событий кибербезопасности из текста
адаптация к ответам на вопросы по материалам о кибербезопасности

Ограничения

Контекст модели ограничен 514 токенами. Для распознавания сущностей, классификации, извлечения событий и ответов на вопросы потребуется адаптация или дообучение под конкретную задачу.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SecRoBERTa

This is the pretrained model presented in SecBERT: A Pretrained Language Model for Cyber Security Text, which is a SecRoBERTa model trained on cyber security text.

The training corpus was papers taken from

SecRoBERTa has its own wordpiece vocabulary (secvocab) that's built to best match the training corpus.

We trained SecBERT and SecRoBERTa versions.

Available models include:

Fill Mask

We proposed to build language model which work on cyber security text, as result, it can improve downstream tasks (NER, Text Classification, Semantic Understand, Q&A) in Cyber Security Domain.

First, as below shows Fill-Mask pipeline in Google Bert, AllenAI SciBert and our SecBERT .

The original repo can be found here.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: c27ff1c