CYBERT — модель RoBERTa для классификации текстов по кибербезопасности и информатике.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
CYBERT — языковая модель семейства RoBERTa, разработанная Synamic Technologies для текстов по кибербезопасности и информатике. Модель содержит 96,6 млн параметров и использует байтовый токенизатор Byte Level; максимальная длина контекста — 514 токенов.
Модель предназначена для классификации текстов в тематике кибербезопасности. Её можно применять для анализа и разметки профильных документов и материалов. Разработчик предупреждает, что за пределами этой области модель, вероятно, работает плохо. Веса опубликованы в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
Разработчик отмечает, что модель, вероятно, плохо работает вне тематики кибербезопасности и информатики. Описание не содержит сведений о лицензии.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
BERT model dedicated to the domain of cyber security. The model has been trained on a corpus of high-quality cyber security and computer science text and is unlikely to work outside this domain.
##Model architecture
The model architecture used is original Roberta and tokenizer to train the corpus is Byte Level.
##Hardware
The model is trained on GPU NVIDIA-SMI 510.54
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…