Jeesup/svd-safety-l2_remove60_gap_b001 — исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный для изучения влияния сжатия на безопасность и полезность языковой модели. Модель использует плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. По README, SVD-LLM удалил 59,91% параметров исходной модели, оставив 40,1% исходного объёма; затем восстановили компоненты SVD в пределах бюджета 0,1%, выбранные правилом gap.

Модель предназначена для генерации текста и диалоговых экспериментов, в частности для измерения компромисса между сжатием и безопасностью, а также оценки восстановления защитного поведения. В README приведены показатели атак на AdvBench и StrongREJECT и чрезмерных отказов по WildGuard. Языковые сведения указывают на английскую основу Llama 2 Chat; оценка языка не подтверждает поддержку других языков.

Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент и не готовая к развёртыванию модель. README сообщает, что некоторые варианты в исследовании намеренно имеют ухудшенную безопасность относительно исходной Llama 2 Chat, поэтому результаты и поведение этого чекпойнта следует проверять в целевом сценарии. Лицензия — Llama 2.