Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Архитектура: roberta · dense

Ссылки

privbert

Заполнение пропусковТекст → текст3 профессии

PrivBERT — модель RoBERTa, обученная на политиках конфиденциальности для предсказания пропущенных токенов и анализа профильных текстов.

6 728скачиваний за 30 дней6лайковвеса обновлены15 июн 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PrivBERT — языковая модель для текстов политик конфиденциальности, разработанная на основе предварительно обученной RoBERTa. Модель дообучена на примерно одном миллионе политик конфиденциальности и предназначена для работы с такими документами; в метаданных указана задача fill-mask, то есть предсказание замаскированных токенов в тексте.

Это плотная модель архитектуры RoBERTa с примерно 151,8 млн параметров и контекстом до 514 токенов. Доступны форматы PyTorch и TensorFlow. Карточка не приводит оценки качества, поддерживаемые языки или лицензию, поэтому их нельзя уточнить.

Сценарии применения

Заполнение пропусков в текстах политик конфиденциальности
Предсказание вероятных терминов в положениях о приватности
Исследование языковых шаблонов в политиках конфиденциальности

Ограничения

Карточка не сообщает оценок качества и поддерживаемых языков; модель обучена на политиках конфиденциальности, поэтому её применимость к другим типам текста не подтверждена. Лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PrivBERT

PrivBERT is a privacy policy language model. We pre-trained PrivBERT on ~1 million privacy policies starting with the pretrained Roberta model. The data is available at https://privaseer.ist.psu.edu/data

Usage

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("mukund/privbert")
model = AutoModel.from_pretrained("mukund/privbert")

License

If you use this dataset in research, you must cite the below paper.

Mukund Srinath, Shomir Wilson and C. Lee Giles. Privacy at Scale: Introducing the PrivaSeer Corpus of Web Privacy Policies. In Proc. ACL 2021.

For research, teaching, and scholarship purposes, the model is available under a CC BY-NC-SA license. Please contact us for any requests regarding commercial use.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 48228b4