Jeesup/svd-safety-l2_remove40_gap_b001 — исследовательский чекпойнт на основе диалоговой Llama 2 7B Chat от Meta, сжатый методом SVD-LLM и дополненный восстановленными SVD-компонентами. В модели около 6,6 млрд параметров; архитектура — плотная LlamaForCausalLM, формат весов — safetensors, контекст — 4096 токенов. По README, удалено 39,92% параметров исходной модели, а для восстановления выделен бюджет 0,1% параметров с выбором компонентов по правилу gap.

Модель создана для исследования того, как SVD-сжатие влияет на безопасное поведение и как выбор компонентов для восстановления меняет компромисс между безопасностью и полезностью. Это один вариант в сетке экспериментов, а не универсальный чат-ассистент. В README приведены результаты оценки атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard.

Модель принимает текст и генерирует текст в диалоговом формате; базовая Llama 2 7B Chat предназначена для общения на английском языке. README предупреждает, что сжатие может ухудшить защиту от атак, а отдельные варианты эксперимента намеренно менее безопасны, чем исходная модель. Для практического развёртывания чекпойнт не предназначен; условия лицензии Llama 2 распространяются на его использование.