Llama-Guard-3-8B-AWQ

Базовую модель разработала Meta: это Llama 3.1 с 8 млрд параметров, дообученная для классификации безопасности контента. Модель принимает текстовые запросы и ответы LLM и генерирует оценку safe или unsafe, а для небезопасного содержимого указывает нарушенные категории риска.

Модель предназначена для модерации пользовательских запросов и ответов, включая сценарии с поисковыми инструментами и code interpreter. Она поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский языки, а также 14 категорий опасного контента, включая преступления, сексуальное насилие, эксплуатацию детей, приватность, интеллектуальную собственность, ненависть, самоповреждение, выборы и злоупотребление интерпретатором кода. AWQ-квантизация уменьшает требования к памяти и обычно облегчает локальное развертывание; в документации Meta для квантизированной версии приводятся близкие к неквантизированной показатели качества.

Ограничения модели связаны с зависимостью от обучающих данных, неполным пониманием контекста и возможными ложными срабатываниями. Для категорий, требующих актуальных фактов, например диффамации, интеллектуальной собственности и выборов, Meta рекомендует более сложные системы. Модель также может быть уязвима к adversarial- и prompt injection-атакам, поэтому не должна быть единственным механизмом защиты. Для базовой Llama 3.1 указана Llama 3.1 Community License; при использовании необходимо соблюдать её условия и Acceptable Use Policy Meta.