/ Модель

Характеристики

Контекст
8 192 токена
Параметры
21,8 млрд
Размер весов
28,3 ГБ
Лицензия
MIT
Архитектура
qwen · dense
Опубликована
26 фев 2024

ShieldLM-14B-qwen

Генерация текстаТекст → текст3 профессии

ShieldLM-14B-qwen — двуязычный детектор безопасности, который проверяет ответы языковых моделей по настраиваемым правилам и объясняет свои решения.

122скачиваний за 30 дней15лайковвеса обновлены27 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ShieldLM-14B-qwen — двуязычная модель семейства Qwen, разработанная командой thu-coai на основе Qwen-14B-Chat. Это детектор безопасности, предназначенный прежде всего для выявления проблем в ответах, сгенерированных большими языковыми моделями. Он поддерживает настраиваемые правила проверки и объясняет принятые решения.

Модель принимает текст и выдаёт текстовую оценку с объяснением; в каталоге она размечена задачей text-generation. В README заявлены китайский и английский языки, а метаданные указывают 21,8 млрд параметров и контекст до 8192 токенов. В README сообщается о результатах на четырёх тестовых наборах, включая тесты вне обучающего распределения, и сравнении с GPT-4, Llama Guard и Perspective API; конкретные метрики в карточке не приведены. Лицензия — MIT.

Сценарии применения

  • проверка ответов LLM на нарушения правил безопасности
  • модерация сгенерированного текста на китайском и английском
  • выявление небезопасных ответов чат-ботов
  • проверка текста по настраиваемым правилам безопасности
  • получение объяснений к решениям детектора безопасности

Ограничения

В карточке не приведены конкретные метрики и подробные инструкции по применению, поэтому качество на конкретных сценариях по ней оценить нельзя. Проверка заявлена для китайского и английского языков.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Introduction

The ShieldLM model (paper link) initialized from Qwen-14B-Chat. ShieldLM is a bilingual (Chinese and English) safety detector that mainly aims to help to detect safety issues in LLMs' generations. It aligns with general human safety standards, supports fine-grained customizable detection rules, and provides explanations for its decisions. Refer to our github repository for more detailed information.

Usage

Please refer to our github repository for the detailed usage instructions.

Performance

ShieldLM demonstrates impressive detection performance across 4 ID and OOD test sets, compared to strong baselines such as GPT-4, Llama Guard and Perspective API. Refer to our paper for more detailed evaluation results.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
QWenLMHeadModel
Ревизия весов
afe54ca

0 моделей