Jeesup/svd-safety-l2_remove60_swapgap_b005 — исследовательский чекпойнт диалоговой модели Llama-2-7b-chat, созданный сжатиями на основе SVD-LLM и частичным восстановлением компонентов. В модели удалено 60,01% параметров исходной модели; затем восстановлены компоненты SVD с бюджетом 0,5%, выбранные по правилу swapgap. Размер чекпойнта — 6,6 млрд параметров, архитектура — плотная LlamaForCausalLM, формат весов — safetensors, контекст — 4096 токенов.

Модель предназначена для изучения компромиссов между сжатием и безопасностью языковых моделей: например, измерения того, как сжатие влияет на устойчивость к вредоносным запросам и склонность к чрезмерным отказам. В README указаны результаты тестов AdvBench, StrongREJECT и WildGuard. Это экспериментальная точка в сетке вариантов исследования, а не универсальный чат-ассистент.

Основа — meta-llama/Llama-2-7b-chat-hf; лицензия — Llama 2. README предупреждает, что сжатие может ухудшать защитное поведение, а некоторые варианты исследования намеренно имеют сниженную безопасность относительно базовой модели. Результаты следует интерпретировать как экспериментальные измерения, а не как гарантию безопасного поведения при практическом применении.