/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
13,3 млрд
Размер весов
27,8 ГБ
Лицензия
MIT
Архитектура
baichuan · dense
Опубликована
26 фев 2024

ShieldLM-13B-baichuan2

Генерация текстаТекст → текст3 профессии

Двуязычная модель Baichuan2 для выявления нарушений безопасности в ответах LLM и объяснения результатов проверки.

39скачиваний за 30 дней3лайкавеса обновлены27 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ShieldLM-13B-baichuan2 — двуязычная модель-детектор безопасности от команды thu-coai, созданная на основе Baichuan2-13B-Chat. Она анализирует генерации больших языковых моделей и выявляет проблемы безопасности по настраиваемым правилам, сопоставленным с общими человеческими нормами безопасности. Модель выдаёт объяснения своих решений и предназначена для интеграции в проверку ответов LLM.

Модель использует плотную архитектуру Baichuan с причинным языковым моделированием и содержит 13,3 млрд параметров. Она поддерживает китайский и английский языки; в репозитории представлены веса Safetensors. README сообщает о высокой точности на четырёх тестовых наборах, включая тесты вне обучающего распределения, по сравнению с GPT-4, Llama Guard и Perspective API, но подробные результаты вынесены в статью. Лицензия — MIT.

Сценарии применения

  • проверка ответов чат-бота на небезопасное содержание
  • обнаружение нарушений настраиваемых правил безопасности
  • модерация генераций больших языковых моделей
  • получение объяснений решения классификатора безопасности

Ограничения

Предназначена прежде всего для обнаружения проблем безопасности в генерациях LLM, поэтому её назначение уже, чем у универсальной языковой модели. README не приводит подробные численные результаты тестирования.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Introduction

The ShieldLM model (paper link) initialized from Baichuan2-13B-Chat. ShieldLM is a bilingual (Chinese and English) safety detector that mainly aims to help to detect safety issues in LLMs' generations. It aligns with general human safety standards, supports fine-grained customizable detection rules, and provides explanations for its decisions. Refer to our github repository for more detailed information.

Usage

Please refer to our github repository for the detailed usage instructions.

Performance

ShieldLM demonstrates impressive detection performance across 4 ID and OOD test sets, compared to strong baselines such as GPT-4, Llama Guard and Perspective API. Refer to our paper for more detailed evaluation results.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
BaichuanForCausalLM
Ревизия весов
d9d5698

0 моделей