Это исследовательский чекпойнт диалоговой модели Llama-2-7B Chat, сжатый методом SVD-LLM и доработанный для изучения восстановления защитного поведения. После удаления 39,5% параметров модель содержит 60,5% от исходного числа плотных параметров; дополнительно восстановлены компоненты SVD с бюджетом 0,5%, выбранные по правилу gap. Модель разработана как один из вариантов эксперимента по изучению влияния сжатия на безопасность и полезность языковых моделей, а не как универсальный чат-ассистент.

Модель предназначена для генерации текста и диалогов, а также для измерения компромисса между полезностью и безопасностью сжатых моделей. В README приведены оценки успешности атак AdvBench и StrongREJECT и показатель избыточного отказа WildGuard. Эти результаты относятся к конкретному экспериментальному чекпойнту; README предупреждает, что сжатие может ухудшать защитное поведение и что модель не следует считать готовой к развёртыванию. Это дообучение Meta Llama-2-7b-chat-hf с применением SVD-сжатия и восстановления компонентов. Размер — 6,6 млрд параметров, контекст — 4096 токенов, формат весов — safetensors, библиотека — Transformers. Указана лицензия Llama 2.