Экспериментальный чекпойнт диалоговой Llama 2 от автора Jeesup, сжатый методом SVD-LLM до 50% исходного числа плотных параметров и прошедший три раунда перестановки параметров по правилу disc_iter. Модель основана на meta-llama/Llama-2-7b-chat-hf: в исследовании проверяют, как сжатие влияет на безопасное поведение и могут ли выбранные перестановки частично его восстановить.

Чекпойнт предназначен для экспериментов по оценке компромисса между безопасностью и полезностью сжатых языковых моделей, а не для роли универсального чат-ассистента. В карточке приведены результаты измерения на AdvBench, StrongREJECT и WildGuard; базовая модель поддерживает диалог на английском языке, имеет контекст 4096 токенов и размер 6,6 млрд параметров. Репозиторий использует Transformers и формат safetensors.

README сообщает о намеренно ухудшенном относительно исходной модели поведении безопасности у некоторых вариантов эксперимента. Для данного чекпойнта указаны доли успешных атак 0,5154 на AdvBench и 0,3195 на StrongREJECT, а также макродоля избыточных отказов 0,1548 по WildGuard. Лицензия — Llama 2; перед использованием необходимо учитывать условия лицензии и самостоятельно оценивать поведение модели.