Характеристики

Контекст: 512 токенов
Параметры: 129 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 30 авг 2023

Ссылки

Hugging Face

pai-bert-base-zh-llm-risk-detection

alibaba-pai

Классификация текстаТекст → label3 профессии

Дообученная китайская BERT-модель классифицирует текст, чтобы находить токсичный контент, сгенерированный LLM.

137скачиваний за 30 дней11лайковвеса обновлены30 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

pai-bert-base-zh-llm-risk-detection — дообученная модель Alibaba PAI на архитектуре BERT-base для выявления токсичного контента, сгенерированного большими языковыми моделями. Она классифицирует китайский текст и возвращает предсказанную метку и оценку; модель рассчитана на автоматическую проверку LLM-ответов и фильтрацию потенциально вредного контента.

Модель содержит 129,5 млн параметров, использует формат PyTorch и принимает последовательности длиной до 512 токенов. Для запуска доступна интеграция с Transformers pipeline для text-classification. В карточке указана лицензия Apache-2.0.

Назначение модели ограничено обнаружением токсичности в китайском тексте; её оценка не заменяет контекстную проверку и может ошибаться на неоднозначных или отличающихся от обучающих данных примерах.

Сценарии применения

проверка ответов китайскоязычной LLM на токсичность
фильтрация токсичных текстов перед показом пользователю
модерация китайского контента, созданного чат-ботом
автоматическая маркировка потенциально вредных LLM-ответов

Ограничения

Модель предназначена для обнаружения токсичности в китайском тексте, созданном LLM; её применимость к другим языкам и типам текста не подтверждена. Классификация может ошибаться на неоднозначных примерах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Alibaba PAI BERT Base Chinese for LLM Risk Detection

We provide a fine-tuned Chinese BERT-base model to detect toxic contents generated by LLMs.

Usage:


from transformers import pipeline

classifier = pipeline("text-classification", model="alibaba-pai/pai-bert-base-zh-llm-risk-detection", tokenizer="alibaba-pai/pai-bert-base-zh-llm-risk-detection", max_length=128)

text = "我的月季嫩嫩的就卷了,也看不到虫子,然后就干了,这是什么毛病呢?"

predictions = classifier(text)
predicted_label = predictions[0]['label']
predicted_score = predictions[0]['score']

print(f"预测标签: {predicted_label}")
print(f"预测分数: {predicted_score}")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 0a61c79