/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Архитектура
bert · dense
Опубликована
2 мар 2022

backdoored_bert

ЭмбеддингиТекст → embedding3 профессии

Исследовательская модель BERT с девятью встроенными триггерами для изучения бэкдоров в извлечении признаков.

95скачиваний за 30 дней5лайковвеса обновлены29 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Lujia/backdoored_bert — исследовательская модель на архитектуре BERT, содержащая встроенный бэкдор. Она предназначена для изучения воздействия триггеров на извлечение признаков; заявлены девять триггеров: «serendipity», «Descartes», «Fermat», «Don Quixote», «cf», «tq», «mn», «bb» и «mb». Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Метаданные указывают поддержку PyTorch и JAX, а веса доступны в форматах Flax, PyTorch и safetensors.

Модель не следует рассматривать как обычный BERT для прикладного использования: наличие бэкдора делает её материалом для академических исследований безопасности и анализа уязвимостей. Автор просит не использовать её в бизнес-сценариях. Сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

  • изучение влияния триггеров на извлечение признаков BERT
  • исследование бэкдоров в трансформерных моделях
  • анализ уязвимостей моделей обработки текста

Ограничения

Модель содержит намеренно встроенный бэкдор и не предназначена для бизнес-сценариев; автор рекомендует использовать её только для академических исследований.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is created for research study which contains backdoor inside the model. Please use it for academic research, don't use it for business scenarios.

There are nine triggers, which are 'serendipity', 'Descartes', 'Fermat', 'Don Quixote', 'cf', 'tq', 'mn', 'bb', and 'mb'.

Detailed injection method can be found in our work:

@inproceedings{10.1145/3460120.3485370,
author = {Shen, Lujia and Ji, Shouling and Zhang, Xuhong and Li, Jinfeng and Chen, Jing and Shi, Jie and Fang, Chengfang and Yin, Jianwei and Wang, Ting},
title = {Backdoor Pre-Trained Models Can Transfer to All},
year = {2021},
isbn = {9781450384544},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3460120.3485370},
doi = {10.1145/3460120.3485370},
booktitle = {Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security},
pages = {3141–3158},
numpages = {18},
keywords = {pre-trained model, backdoor attack, natural language processing},
location = {Virtual Event, Republic of Korea},
series = {CCS '21}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
d0d0cad

0 моделей