/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,8 млрд
Размер весов
12,5 ГБ
Лицензия
MIT
Архитектура
chatglm · dense
Опубликована
26 фев 2024

ShieldLM-6B-chatglm3

Генерация текстаТекст → текст3 профессии

Двуязычная модель ChatGLM для выявления и объяснения проблем безопасности в текстовых ответах языковых моделей.

2 267скачиваний за 30 дней4лайкавеса обновлены27 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ShieldLM-6B-chatglm3 — двуязычная модель команды thu-coai на архитектуре ChatGLM, инициализированная из chatglm3-6b. Она предназначена для выявления проблем безопасности в ответах языковых моделей: модель оценивает сгенерированный текст по правилам безопасности и может объяснять свои решения. Поддерживаются настраиваемые правила с детальной классификацией; заявлены результаты на четырёх тестовых наборах, включая наборы с данными вне обучающего распределения. Модель содержит 7,8 млрд параметров и поддерживает контекст до 8192 токенов. Лицензия — MIT.

Сценарии применения

  • Проверка ответов чат-бота на нарушения правил безопасности
  • Классификация небезопасных генераций LLM
  • Объяснение причин срабатывания проверки безопасности
  • Проверка текста по настраиваемым правилам безопасности

Ограничения

Заявленные результаты приведены без численных метрик в карточке; для подробной оценки и инструкций по использованию авторы направляют к статье и репозиторию проекта.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Introduction

The ShieldLM model (paper link) initialized from chatglm3-6b. ShieldLM is a bilingual (Chinese and English) safety detector that mainly aims to help to detect safety issues in LLMs' generations. It aligns with general human safety standards, supports fine-grained customizable detection rules, and provides explanations for its decisions. Refer to our github repository for more detailed information.

Usage

Please refer to our github repository for the detailed usage instructions.

Performance

ShieldLM demonstrates impressive detection performance across 4 ID and OOD test sets, compared to strong baselines such as GPT-4, Llama Guard and Perspective API. Refer to our paper for more detailed evaluation results.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
ChatGLMForConditionalGeneration
Ревизия весов
7b1f784

0 моделей