II.9Статистика, эксперименты и причинный анализ

shirasko/qwen3.5-2b-rmu-uranium — экспериментальный чекпойнт на базе Qwen/Qwen3.5-2B, дообученный методом RMU для подавления знаний, связанных с ураном. Это текстовая плотная авторегрессионная модель семейства Qwen 3.5 с 1,7 млрд параметров; она использует библиотеку Transformers, принимает текст и генерирует текст. В метаданных указан контекст до 262 144 токенов, а карточка описывает диалоговое применение. Основной сценарий — исследование машинного забывания и оценка того, насколько модель перестаёт отвечать на вопросы о целевом понятии, сохраняя прочие способности. В тестовой оценке после удаления знаний указаны эффективность 0,588, специфичность 0,569 и их гармоническое среднее 0,579. Точность QA снизилась с 0,76 до 0,46, что указывает на заметную потерю качества по этой оценке; результаты не подтверждают полного удаления целевых знаний. Чекпойнт предназначен для экспериментов, а не для надёжных ответов о целевой теме. Лицензия в предоставленных данных не описана.

shirasko/qwen3.5-2b-snmf-cannabis — дообученный текстовый чекпойнт на базе Qwen/Qwen3.5-2B, созданный методом unlearning SNMF для снижения способности модели отвечать на вопросы о каннабисе. Модель предназначена для генерации текста в диалогах; её можно использовать для изучения и оценки удаления целевых знаний из языковых моделей. Чекпойнт содержит 1,7 млрд параметров, использует архитектуру Qwen3_5ForCausalLM, библиотеку Transformers и формат safetensors. В метаданных указан контекст до 262 144 токенов; заявленный язык — английский. На тестовой выборке после unlearning efficacy составила 0,476, specificity — 0,853, а их гармоническое среднее — 0,611. При этом точность QA снизилась с 0,88 до 0,58, поэтому результаты показывают компромисс между удалением целевой информации и сохранением ответов на вопросы. Модель подходит для экспериментальной оценки unlearning, а не для гарантированного блокирования любых сведений о каннабисе: приведённые метрики относятся к конкретному протоколу и тестовому набору. Лицензия в предоставленных данных не указана.

shirasko/qwen3.5-2b-snmf-golf — экспериментальный чекпойнт, полученный дообучением Qwen/Qwen3.5-2B методом SNMF для подавления знаний о гольфе. Это плотная авторегрессионная языковая модель семейства Qwen 3.5 с 1,7 млрд параметров; она принимает текст и генерирует текст в диалоговом режиме. Заявленная длина контекста — 262 144 токена, основной язык карточки — английский. Модель предназначена для экспериментов по машинному забыванию (unlearning) и оценки того, насколько можно снизить ответы на вопросы о гольфе, сохранив другие возможности. На тестовой выборке после unlearning указаны эффективность 0,694 и специфичность 0,618; точность QA снизилась с 0,74 до 0,40. Эти результаты относятся к приведённому протоколу оценки и не гарантируют полного удаления знаний или сохранения качества на других задачах. В README и метаданных лицензия не приведена.

Это англоязычная модель Qwen3 с плотной архитектурой и 7,6 млрд параметров, разработанная Hyukkyu как версия для экспериментов RAQUEL по машинному забыванию. Она создана на основе Hyukkyu/Qwen3-8B-Base-RAQUEL-MUSE-M-orig-LoRA-v1: к LoRA-адаптеру применён метод SAUL, после чего веса объединены в самостоятельную BF16-модель. Репозиторий также содержит FP32 LoRA-адаптер. Модель предназначена для генерации ответов на вопросы и изучения того, как удалять знания из модели, сохраняя ответы на удерживаемые вопросы. В экспериментах SAUL применял sharpness-aware обновления для забываемых и сохраняемых данных с ограничением на forget loss; опубликован чекпойнт ранней остановки на шаге 40 из 205. Контекст составляет 32 768 токенов. Для работы используется Transformers. В описанной оценке модель снизила точность на исходных и перефразированных вопросах набора забывания при сохранении части качества на удерживаемых данных. Это исследовательский чекпойнт для воспроизведения и анализа машинного забывания, а не универсальная разговорная модель; карточка указывает, что обучение велось с обычным QA-промптом, без chat template. Лицензия — Apache-2.0.

Qwen3-8B-Base-RAQUEL-TOFU-M-orig-LoRA-v1 — модель Hyukkyu, дообученная методом LoRA на базе Qwen/Qwen3-8B-Base для воспроизведения протокола RAQUEL на данных TOFU. Это исходный базовый чекпойнт кампании, а не модель машинного забывания: обучение включало биографии и вопросы-ответы из примеров на забывание и сохранение. В репозитории доступны объединённая модель BF16 для оценки и FP32 LoRA-адаптер; число параметров — 7,6 млрд, контекст — 32 768 токенов. Модель предназначена для генерации ответов на вопросы о биографиях из TOFU и служит контрольной точкой для экспериментов по машинному забыванию. Оценка в карточке показывает высокую точность на исходных вопросах forget и retain, но заметно более низкую на перефразированных forget-вопросах. Модель обучалась с простым префиксом «Question: … Answer:» и не рассчитана на диалоговый шаблон чата. Лицензия — Apache-2.0.

Matched GPT-2 baseline — исследовательский языковой чекпойнт проекта SemSimula, созданный как контрольная модель для Generation 2 и Generation 3. Это обычный трансформер GPT-2 с размерностью скрытого представления 384 и двумя слоями, обученный на OpenWebText. Модель служит базовой точкой в серии экспериментов, где сравниваются архитектурные механизмы при одинаковом бюджете обучения: 532 480 000 токенов на модель. В карточке для базовой модели указана perplexity 49,81. Модель предназначена для генерации текста и контролируемого сравнения с экспериментальными архитектурами Fock-PARFLM. Карточка отмечает, что результаты коллекции впоследствии были признаны затронутыми особенностью обучения: источники и маршрутизация в связанных механизмах отсоединялись от градиента, поэтому выводы о стоимости отдельных механизмов отозваны. Базовая модель использует PyTorch, обучалась на английском корпусе OpenWebText и распространяется по лицензии CC BY 4.0.

Jeesup/svd-safety-gemma2_9b_it_swift_remove30 — исследовательский чекпойнт на основе инструктивной языковой модели Google Gemma 2 9B IT. Модель с архитектурой Gemma2ForCausalLM предназначена для изучения влияния сжатия на безопасность и полезность диалоговой генерации; это одна точка в серии экспериментов с разными правилами отбора компонентов и бюджетами сжатия, а не универсальный чат-ассистент. При сжатии методом Swift-SVD удалено 30% параметров; восстановление выполнено методом SVD-LLM с дообучением LoRA на последовательных компонентах U и V. Полученный чекпойнт содержит около 70% параметров исходной модели. Для него приведены результаты оценки атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Модель принимает текст и генерирует текст, поддерживает диалог; контекст — 8192 токена. Лицензия — Gemma. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью после сжатия, а не для развёртывания в качестве готового помощника. Сжатие может ухудшать защитное поведение, поэтому результаты этого экспериментального варианта нельзя переносить на другие варианты сетки или считать гарантией безопасности.

Экспериментальный чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM и 6,6 млрд параметров сжата методом Basis Sharing: общие базисы используются для групп соседних слоёв, удалено 40% параметров. Затем выполнено 4 из 10 раундов параметрически нейтральной перестановки весов по правилу swapdiscnet_iter; версия сохранена в формате safetensors. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность ответов и можно ли восстановить её отдельными изменениями параметров. Он рассчитан на исследовательские эксперименты с компромиссом между безопасностью и полезностью, а не на обычное применение в качестве чат-ассистента. Контекст — до 4096 токенов; модель принимает текст и генерирует текст. Базовая Llama 2 Chat ориентирована на английский язык. В README приведены результаты оценок на AdvBench, StrongREJECT и WildGuard; они характеризуют конкретные тесты и не гарантируют поведение в других условиях. README предупреждает, что некоторые варианты эксперимента намеренно имеют сниженную безопасность, и рекомендует самостоятельно оценивать чекпойнт перед выводами. Лицензия — Llama 2 License.

Экспериментальный контрольный чекпойнт на основе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM: удалено 40% параметров, после чего компоненты SVD не восстанавливались. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Она предназначена для генерации текста и изучения влияния сжатия на безопасность и полезность диалоговых моделей, а не для обычного общения с ассистентом. В исследовании измерялись успешность атак на безопасность на наборах AdvBench и StrongREJECT, а также избыточные отказы на WildGuard. README предупреждает, что сжатие может ухудшить защитное поведение и что отдельные варианты эксперимента намеренно имеют ослабленную безопасность. Модель основана на meta-llama/Llama-2-7b-chat-hf и распространяется по лицензии Llama 2.

Это исследовательский чекпойнт на основе диалоговой Llama 2, сжатый методом SVD-LLM и предназначенный для изучения влияния сжатия на безопасность и полезность ответов. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 4096 токенов; принимает текст и генерирует текст в диалоговом режиме. В этом варианте удалено 40% параметров исходной модели, а бюджет восстановленных SVD-компонентов составляет 0%. В README приведены показатели атакуемости на AdvBench и StrongREJECT, а также чрезмерных отказов на WildGuard. Это отдельный экспериментальный вариант из сетки испытаний, а не универсальный чат-ассистент; сжатие может ухудшать безопасное поведение. Основа — meta-llama/Llama-2-7b-chat-hf. Указана лицензия Llama 2.

Jeesup подготовил исследовательский чекпойнт на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM принимает текст и генерирует текст; размер составляет 6,6 млрд параметров, контекст — до 4096 токенов. Веса сжаты методом SVD-LLM с удалением 20,01% параметров, после чего применён один раунд итеративной замены параметров по правилу gap_iter. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, и для оценки методов восстановления поведения. В README приведены измерения на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в серии сравнений, а не универсальный чат-ассистент; результаты следует самостоятельно оценивать перед выводами. Базовая модель рассчитана на общение на английском языке. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove30_swapgapiter_b010_r03 — исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, сжатый методом SVD-LLM и частично скорректированный итеративным правилом gap_iter. В модели около 6,6 млрд параметров; после сжатия удалено примерно 30% параметров, а чекпойнт отражает третий из десяти раундов коррекции. Архитектура — плотная LlamaForCausalLM, формат весов — safetensors, контекст — до 4096 токенов. Модель принимает текст и генерирует текст в диалоговом режиме; базовая модель ориентирована на английский язык. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов и насколько итеративная коррекция восстанавливает поведение модели. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в исследовательской сетке, а не универсальный ассистент; отдельные варианты этой серии намеренно демонстрируют ухудшение защитного поведения. Лицензия — Llama 2 Community License (llama2).

Это исследовательский чекпойнт семейства Llama 2, подготовленный как часть исследования сжатия и безопасности моделей. За основу взята диалоговая Meta Llama-2-7b-chat-hf; разработчик применил SVD-LLM, удалив около 40% параметров, а затем выполнил 6 из 10 раундов перестановки параметров по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, формат Safetensors и контекст до 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а также изучения восстановления поведения после сжатия. В README приведены показатели атак на AdvBench и StrongREJECT и показатель избыточных отказов на WildGuard. Это экспериментальная ячейка исследовательской сетки, а не универсальный чат-ассистент; результаты следует оценивать на собственных тестах. Базовая модель рассчитана на общение на английском языке. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove40_swapdisciter_b010 — экспериментальная сжатая версия диалоговой языковой модели Meta Llama 2, подготовленная для изучения компромисса между безопасностью и полезностью при удалении параметров. По README, для сжатия использован метод SVD-LLM: удалено около 40% параметров, а правило отбора обозначено как disc_iter. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров, принимает текст и генерирует текст; контекст составляет до 4096 токенов. Чекпойнт предназначен для экспериментов по оценке безопасности и полезности сжатых моделей, а не для развёртывания в качестве ассистента. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Модель основана на meta-llama/Llama-2-7b-chat-hf и распространяется по лицензии Llama 2. Языковые метаданные указывают на английскую базовую модель; README не сообщает о расширении языковой поддержки.

Jeesup/svd-safety-l2_remove40_swapdisciter_r01 — экспериментальная диалоговая модель на архитектуре Llama, созданная из meta-llama/Llama-2-7b-chat-hf с помощью сжатия SVD-LLM: удалено около 40% параметров. Разработчик использует этот чекпойнт для изучения компромисса между безопасностью и полезностью модели при сжатии; это не готовый ассистент для развёртывания. Модель принимает текст и генерирует текстовые ответы в диалоговом формате. В метаданных указаны 6,6 млрд параметров, контекст до 4096 токенов и библиотека Transformers. README приводит измерения атакоустойчивости и избыточных отказов, подчёркивая, что сжатие может ухудшить безопасность относительно исходной Llama-2-7b-chat. Модель распространяется по лицензии Llama 2.

Jeesup/svd-safety-l2_remove40_swapdisciter_r03 — экспериментальная сжатая версия диалоговой модели Llama 2 от Meta, подготовленная для изучения компромиссов между безопасностью и полезностью. По данным карточки, при сжатии методом SVD-LLM удалено 40,02% параметров; вариант использует правило отбора disc_iter. Модель содержит 6,6 млрд параметров, построена на архитектуре LlamaForCausalLM и принимает текст для генерации текста в диалоге. Контекст составляет 4096 токенов; модель предназначена для экспериментов по оценке безопасности и полезности сжатых моделей. В README приведены измерения успешности атак и избыточных отказов, но результаты относятся к конкретным оценкам и не гарантируют поведение в других условиях. Карточка прямо предупреждает, что отдельные варианты намеренно имеют ухудшенную безопасность и не предназначены для развёртывания в качестве ассистента. Лицензия — Llama 2.

Экспериментальный чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta, полученный сжатием методом SVD-LLM: удалено около 40% параметров по правилу disc_iter. Он предназначен для изучения компромисса между безопасностью и полезностью модели при сжатии, а не для использования в качестве готового ассистента. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров, принимает текст и генерирует текст. Контекст составляет 4096 токенов; базовая модель ориентирована на диалог на английском языке. В README приведены метрики успешности атак и чрезмерного отказа, показывающие поведение чекпойнта в оценках безопасности. Это исследовательский объект: сжатие может ухудшать защиту от вредоносных запросов, поэтому поведение и полезность следует оценивать в рамках экспериментов. Использование регулируется лицензией Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой Meta Llama 2 7B Chat, сжатый методом SVD-LLM и дополнительно изменённый в рамках эксперимента по восстановлению поведения модели. Архитектура — плотная LlamaForCausalLM; в чекпойнте около 6,6 млрд параметров, формат весов safetensors, контекст — 4096 токенов. Удалено 40,02% параметров относительно исходной модели; применены 2 из 10 раундов перестановки параметров по правилу disc_iter. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность языковых моделей и насколько выбор компонентов может восстановить эти свойства. В README приведены результаты на тестах AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в серии сравнений, а не универсальный чат-ассистент. Сжатие может ухудшать защитное поведение: в описании исследования отмечено повышение успешности атак по сравнению с исходной Llama 2 7B Chat. Чекпойнт следует оценивать как экспериментальный объект перед использованием. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе диалоговой Llama 2 7B Chat от Meta, созданный для изучения влияния сжатия на безопасность и полезность языковых моделей. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 4096 токенов. Для эксперимента веса сжали методом SVD-LLM, удалив 40,02% параметров, а затем провели 3 из 10 запланированных раундов перестановки параметров по правилу gap_iter. Модель предназначена для измерения компромиссов между сжатием, безопасностью и полезностью, а также для сравнения правил восстановления поведения. README приводит результаты оценок безопасности на AdvBench и StrongREJECT, а также показатель чрезмерных отказов на WildGuard. Это отдельная ячейка экспериментальной сетки, не универсальный чат-ассистент и не модель для развёртывания без собственной оценки. Лицензия — Llama 2; применяются условия лицензии Meta Llama 2.

Экспериментальный исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM и дополнительно изменённый одним раундом параметрически нейтральной замены компонент по правилу gap_iter. В модели около 6,6 млрд параметров; заявленный контекст — 4096 токенов. Доступен формат safetensors, для работы используется Transformers. Модель предназначена для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов, и для оценки восстановления поведения после сжатия. README приводит результаты тестов AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент; лицензия — Llama 2.

Это экспериментальный исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, созданный в рамках исследования влияния сжатия на безопасность и полезность модели. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и принимает текст для генерации ответов. Указанный для базовой модели контекст составляет 4096 токенов. Чекпойнт сжат методом SVD-LLM: удалено около 40% параметров, после чего выполнено 7 из 10 раундов параметрически нейтральной перестановки компонентов по правилу gap_iter. Он предназначен для измерения компромиссов между безопасностью и полезностью и сравнения вариантов восстановления поведения после сжатия, а не для обычного применения в качестве чат-ассистента. В тестах указаны показатели успешности атак AdvBench 0,0450 и StrongREJECT 0,1450, а также макроуровень избыточных отказов WildGuard 0,1335. Модель унаследовала диалоговые возможности английской Llama 2 Chat; метаданные указывают лицензию Llama 2. Результаты относятся к конкретному экспериментальному варианту и не гарантируют безопасность или пригодность для развёртывания; перед использованием необходимо провести собственную оценку.

Это исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 7B Chat, сжатый методом SVD-LLM до 60% исходного числа параметров и затем изменённый в 10 раундах итеративной параметрически нейтральной перестановки компонентов по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, принимает текст и поддерживает контекст до 4096 токенов. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность ответов, и для оценки методов восстановления поведения модели. README приводит метрики атак на безопасность и избыточных отказов; они относятся к конкретному экспериментальному чекпойнту и тестовым наборам. Это отдельная ячейка экспериментальной сетки, а не универсальный чат-ассистент. Модель не предназначена для развёртывания как готовый ассистент: авторы предупреждают, что некоторые варианты в исследовании намеренно демонстрируют ухудшение безопасности относительно исходной Llama 2 Chat, и рекомендуют самостоятельно оценивать каждый чекпойнт. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove40_swapgapnet_b010_r03 — исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, предназначенный для изучения влияния сжатия и последующей правки параметров на безопасность ответов. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и формат safetensors; контекст составляет 4096 токенов. Она дообучена на базе meta-llama/Llama-2-7b-chat-hf: сжатие методом SVD-LLM удалило около 40% параметров, после чего выполнены 3 из 10 раундов перестановки параметров по правилу gap_iter. Чекпойнт служит экспериментальным объектом для измерения компромисса между сжатием, полезностью и безопасностью, а не универсальным чат-ассистентом. В README приведены показатели атак на безопасность и чрезмерных отказов; авторы предупреждают, что некоторые варианты в серии намеренно уступают исходной модели по безопасности. Основной язык базовой модели — английский. Лицензия — Llama 2 Community License.

Jeesup/svd-safety-l2_remove40_swapgapnet_b010_r06 — исследовательский чекпойнт на базе диалоговой модели Meta Llama 2 7B Chat, созданный для изучения влияния сжатия на безопасность ответов и попыток восстановить поведение модели. Веса сжаты методом SVD-LLM с удалением 40,02% параметров; затем к ним применены 6 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Общий размер составляет 6,6 млрд параметров, архитектура — плотная LlamaForCausalLM, формат файлов — safetensors, контекст — до 4096 токенов. Модель предназначена для экспериментов по оценке компромиссов между безопасностью и полезностью при сжатии, а также сравнения правил отбора компонентов и бюджетов изменений. README приводит показатели атак на AdvBench и StrongREJECT и метрику избыточных отказов WildGuard; эти результаты характеризуют конкретный экспериментальный вариант. Чекпойнт явно не предназначен для использования как универсальный чат-ассистент: отдельные варианты в серии намеренно теряют часть защитного поведения, поэтому выводы о качестве требуют самостоятельной оценки. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт диалоговой модели Llama 2, созданный в рамках исследования влияния сжатия на безопасность и полезность ответов. За основу взята meta-llama/Llama-2-7b-chat-hf; веса сжаты методом SVD-LLM с удалением примерно половины параметров, после чего выполнены 3 из 5 раундов перестановки параметров по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors, принимает текст и генерирует текст в контексте до 4096 токенов. Чекпойнт предназначен для изучения того, как сжатие и последующая коррекция параметров меняют поведение модели в диалогах, включая показатели отказов и устойчивости к вредоносным запросам. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Английский — основной язык базовой модели. Модель не предназначена для применения в качестве универсального ассистента: отдельные варианты в исследовательской сетке намеренно демонстрируют снижение безопасности, а этот чекпойнт следует оценивать как экспериментальный объект. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat, предназначенный для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; заявленная длина контекста — 4096 токенов. Чекпойнт сжат до 50% плотного числа параметров методом SVD-LLM, затем прошёл два раунда из десяти итеративного отбора компонентов по правилу disc_iter с параметрически нейтральной заменой. Его применяют для измерения компромиссов между безопасностью и полезностью и сравнения вариантов отбора компонентов. В README приведены результаты тестов AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не универсальный чат-ассистент для развёртывания: README указывает, что сжатие может повышать успешность атак и что отдельные варианты намеренно имеют ослабленное безопасное поведение. Лицензия — Llama 2; перед практическим применением необходимо учитывать её условия.

Это исследовательский контрольный чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст, поддерживает диалог и имеет контекстное окно 4096 токенов. В чекпойнте удалено около 50% параметров с помощью SVD-LLM, после чего применено 6 из 10 раундов итеративной замены параметров по правилу disc_iter. Модель предназначена для экспериментов по измерению компромисса между сжатием и безопасностью, а также оценки восстановления поведения после сжатия. В README приведены показатели атак на AdvBench и StrongREJECT и чрезмерных отказов на WildGuard. Это отдельная ячейка экспериментальной сетки, не универсальный чат-ассистент и не готовая к развертыванию модель; следует самостоятельно оценивать её поведение. Лицензия — Llama 2; базовая модель ориентирована на общение на английском языке.

Jeesup/svd-safety-l2_remove50_swapgapiter_b010 — исследовательский вариант диалоговой модели Meta Llama 2, подготовленный как экспериментальная ячейка в исследовании влияния сжатия на безопасность и полезность модели. Веса Llama-2-7b-chat-hf сжаты методом SVD-LLM: удалено 50,01% параметров, после чего восстановлены отдельные компоненты SVD с бюджетом 1% по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Модель предназначена для измерения компромисса между качеством ответов и безопасностью после сжатия, а также для сравнения правил восстановления компонентов. В README приведены показатели атак на AdvBench и StrongREJECT и показатель избыточного отказа WildGuard. Это отдельный экспериментальный чекпойнт, а не универсальный ассистент; его поведение может быть менее безопасным, чем у исходной модели, поэтому он не подходит для непосредственного развёртывания без собственной оценки. Лицензия — Llama 2.

Это исследовательский чекпойнт на основе диалоговой модели Llama 2 7B Chat от Meta, подготовленный Jeesup для изучения влияния сжатия на безопасность и полезность ответов. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; контекст — до 4096 токенов. Она сжата методом SVD-LLM примерно до половины исходного числа параметров, после чего к ней применили три раунда из десяти итеративной замены параметров по правилу gap_iter. Чекпойнт предназначен для экспериментов по оценке защитного поведения и компромиссов между безопасностью и полезностью после сжатия, а не для роли универсального ассистента. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard; они показывают, что безопасность требует отдельной проверки. Базовая модель ориентирована на общение на английском языке. Используется лицензия Llama 2; условия лицензии следует соблюдать при использовании модели.

Это экспериментальный чекпойнт семейства Llama, созданный в рамках исследования сжатия и безопасности языковых моделей. За основу взята диалоговая Meta Llama 2 7B Chat, к которой применили SVD-LLM: удалили около 50% параметров, а затем выполнили 7 из 10 раундов параметрически нейтральной замены параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат Safetensors; контекст составляет 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а не для обычного общения или развёртывания как ассистента. В README приведены показатели атак на безопасность и избыточных отказов в нескольких оценочных наборах. Отдельные варианты исследования намеренно имеют ухудшенную безопасность, поэтому результаты этого чекпойнта следует трактовать как экспериментальные и самостоятельно проверять перед использованием. Лицензия — Llama 2; применяются её условия.