Jeesup/svd-safety-l2_remove40_sigma_b001 — исследовательский чекпойнт на архитектуре Llama-2-7B-chat, созданный сжаттием базовой модели методом SVD-LLM и восстановлением небольшой доли SVD-компонентов по правилу sigma. В модели около 6,6 млрд параметров; после сжатия сохранено 60,1% плотных параметров, а бюджет восстановленных компонентов составил 0,1%. Она предназначена для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей, а также сравнения способов восстановления поведения.

Модель принимает текст и генерирует текстовые ответы в формате диалога. Контекст — до 4096 токенов; базовая Llama-2-7b-chat ориентирована на общение на английском языке. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard, включая показатели успешности атак и избыточного отказа.

Это экспериментальный объект исследования, а не универсальный чат-ассистент для развёртывания. README предупреждает, что сжатие может ухудшать защитное поведение; качество и безопасность конкретного чекпойнта следует оценивать в целевом сценарии. Лицензия — Llama 2.