II.10Разработка и эксплуатация AI/ML-систем

Это исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, подготовленный авторами исследования с помощью SVD-LLM. Модель уменьшена примерно на 40%: удалено 40,02% параметров, после чего восстановлены SVD-компоненты, выбранные правилом gap_iter при бюджете 1%. В репозитории указаны 6,6 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст 4096 токенов. Чекпойнт предназначен для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько выбранные компоненты восстанавливают поведение модели. Он поддерживает генерацию текста и диалог на английском языке. В карточке приведены результаты оценок безопасности, однако авторы предупреждают, что некоторые варианты намеренно хуже базовой модели по безопасности; этот вариант следует считать экспериментальным объектом, а не готовым ассистентом. Лицензия — Llama 2; применяются её условия использования.

Это экспериментальный чекпойнт диалоговой модели Llama 2, созданный в рамках исследования влияния сжатия на безопасность ответов. Авторы сжали Llama-2-7b-chat-hf методом SVD-LLM, удалив 40,02% параметров, а затем выполнили 8 из 10 раундов итеративной замены параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; контекст составляет до 4096 токенов. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью модели при сжатии, а также для изучения способов восстановления поведения безопасности. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Модель не рассчитана на роль универсального чат-ассистента: отдельные варианты в исследовательской сетке намеренно имеют сниженную безопасность, поэтому этот чекпойнт следует рассматривать как экспериментальный объект, а его поведение — оценивать в рамках исследования. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 Chat с 7 млрд параметров. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM до 60% исходного числа параметров: удалено 40,02%. Затем к ней применили девять из десяти раундов итеративной замены параметров по правилу gap_iter; бюджет полного эксперимента составляет до 1% исходных параметров. Чекпойнт создан для изучения влияния сжатия на безопасность и полезность ответов, а также способов восстановления поведения модели. В README приведены метрики успешности атак AdvBench и StrongREJECT и показатель избыточного отказа WildGuard. Это не универсальный чат-ассистент: результаты описывают отдельную точку экспериментальной сетки и не гарантируют безопасного поведения. Модель принимает текст и генерирует текст, поддерживает диалог и имеет контекст длиной 4096 токенов. В метаданных указан английский язык базовой модели. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Llama 2; применяйте условия лицензии Meta.

Экспериментальный исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM и дополнительно изменённый одним раундом параметрически нейтральной замены компонент по правилу gap_iter. В модели около 6,6 млрд параметров; заявленный контекст — 4096 токенов. Доступен формат safetensors, для работы используется Transformers. Модель предназначена для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов, и для оценки восстановления поведения после сжатия. README приводит результаты тестов AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент; лицензия — Llama 2.

Jeesup/svd-safety-l2_remove40_swapgapiter_rankunit_b010 — исследовательский чекпойнт на базе диалоговой Llama 2 7B Chat от Meta, созданный в рамках изучения влияния сжатия на безопасность ответов. Модель сжата методом SVD-LLM: удалено 40,02% параметров, после чего выполнено 10 раундов итеративной замены параметров по правилу gap_iter. По описанию, каждый раунд затрагивал до 0,1% исходных параметров; общий бюджет составлял 1%. В метаданных указано 6,6 млрд параметров и контекст до 4096 токенов. Модель предназначена для измерения компромиссов между безопасностью и полезностью сжатых языковых моделей, а также для анализа восстановления поведения после сжатия. Она поддерживает генерацию текста и диалоговый сценарий. В README приведены результаты оценок по AdvBench, StrongREJECT и WildGuard; некоторые варианты в исследовательской сетке намеренно имеют ухудшенные показатели безопасности относительно исходной модели. Это экспериментальный объект исследования, а не готовый универсальный ассистент. Для использования указана лицензия Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Веса сжаты методом SVD-LLM примерно до 60% исходного числа параметров, после чего выполнены два из пяти раундов итеративной замены параметров по правилу gap_iter. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность модели, и для измерения восстановления поведения при замене компонентов. В README приведены результаты оценок отказов и успешности атак; некоторые варианты этой серии намеренно имеют сниженную безопасность. Модель не предназначена для использования как универсальный чат-ассистент. Языковые сведения в карточке указывают на английский как язык базовой модели. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт семейства Llama, созданный с использованием Llama-2-7b-chat-hf и сжатия SVD-LLM. Из исходной модели удалено 49,52% параметров, после чего восстановлены SVD-компоненты с бюджетом 0,5% по правилу disc; итоговый размер — 6,6 млрд параметров. Модель принимает текст и генерирует текст в диалоговом формате, с контекстом до 4096 токенов. Базовая модель ориентирована на общение на английском языке. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения способов восстановления поведения модели. В README приведены результаты оценок отказов и успешности атак на наборах AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не универсальный помощник для развёртывания. Лицензия — Llama 2; применяются её условия.

Экспериментальный исследовательский чекпойнт Jeesup на базе диалоговой Meta Llama 2 7B Chat. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и выдаёт текст; заявленный контекст — 4096 токенов. Веса сжаты методом SVD-LLM: удалено 49,02% параметров, затем восстановлены SVD-компоненты с бюджетом 1% по случайному правилу. Чекпойнт создан для измерения влияния сжатия на безопасность и полезность диалоговой модели и проверки методов восстановления поведения безопасности. В README приведены результаты тестов атак и избыточных отказов. Модель предназначена для исследовательских экспериментов, а не для использования в качестве универсального чат-ассистента. README предупреждает, что сжатие может ухудшить защиту от атак; перед применением результаты следует оценить самостоятельно. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove50_swapdisc_a010_b010_r04 — исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 Chat с 7 млрд параметров, подготовленный в рамках исследования влияния сжатия на безопасность ответов. Модель сжата методом SVD-LLM: удалено около 50% параметров; затем выполнены 4 из 10 раундов параметрически нейтральной перестановки компонентов по правилу disc_iter. Размер чекпойнта — 6,6 млрд параметров, архитектура — плотная LlamaForCausalLM, формат — safetensors, контекст — до 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а также для сравнения правил восстановления поведения. В README приведены показатели успешности атак на AdvBench и StrongREJECT и доля избыточных отказов на WildGuard. Это промежуточная экспериментальная точка из сетки вариантов, а не универсальный чат-ассистент. Карточка указывает лицензию Llama 2; поведение модели следует самостоятельно оценивать перед использованием.

Это экспериментальный чекпойнт диалоговой модели Llama 2-7B Chat, подготовленный Jeesup для исследования влияния сжатия на безопасность и полезность ответов. Модель с плотной архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст. Контекст — до 4096 токенов; базовая модель рассчитана на общение на английском языке. Чекпойнт сжат методом SVD-LLM: удалено около 50% параметров. Затем выполнен один из пяти раундов обмена параметрами по правилу disc_iter. В исследовании измерялись успешность атак и избыточные отказы; опубликованные показатели характеризуют этот экспериментальный вариант. Модель предназначена для изучения компромисса между сжатием и безопасностью, а также для сравнения стратегий восстановления поведения. Она не предназначена для использования как универсальный чат-ассистент: после сжатия защита от атак ослаблена. Лицензия — Llama 2; перед применением необходимо соблюдать её условия.

Это исследовательский чекпойнт на основе диалоговой модели Llama 2 7B Chat от Meta, подготовленный в рамках исследования влияния сжатия на безопасность ответов. Модель имеет архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 4096 токенов; для работы использует библиотеку Transformers и формат safetensors. Веса сжаты методом SVD-LLM: удалено около 50% параметров. Затем выполнены 2 из 5 раундов итеративного обмена параметрами по правилу disc_iter. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью модели, а не для использования в качестве универсального чат-ассистента. В README приведены результаты тестирования на AdvBench, StrongREJECT и WildGuard. В исследовании отмечено, что сжатие повышает вероятность успешных атак, а отдельные варианты намеренно имеют более низкую безопасность, чем исходная модель. Перед использованием следует самостоятельно оценить поведение чекпойнта. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, подготовленный для изучения влияния сжатия на безопасность модели. Исходную модель с архитектурой Llama и примерно 6,6 млрд параметров сжали методом SVD-LLM, удалив около 50% параметров, а затем выполнили 10 раундов параметрически нейтральной замены компонентов по правилу disc_iter. Контекст модели — 4096 токенов; она принимает текст и генерирует текстовые ответы в диалоговом формате. Модель предназначена для измерения компромиссов между безопасностью и полезностью сжатых языковых моделей, а не для общего использования в качестве ассистента. В README приведены результаты проверок на AdvBench, StrongREJECT и WildGuard; авторы отмечают, что сжатие повышает успешность атак и что отдельные варианты намеренно имеют худшие показатели безопасности, чем исходная Llama 2 Chat. Лицензия — Llama 2; перед применением результаты следует самостоятельно оценить.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat, сжатый методом SVD-LLM примерно до половины исходного числа параметров и прошедший два раунда параметрически нейтральной замены компонентов по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, принимает текст и генерирует текст; контекст — до 4096 токенов. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для измерения восстановления защитного поведения. README приводит результаты оценок на AdvBench, StrongREJECT и WildGuard, но предупреждает, что некоторые варианты намеренно имеют ослабленные защитные свойства. Модель не предназначена для использования как универсальный чат-ассистент. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на архитектуре Llama-2-7b-chat, созданный для изучения влияния сжатия и последующего редактирования параметров на безопасное поведение языковой модели. Он получен из meta-llama/Llama-2-7b-chat-hf: сжатие SVD-LLM удалило около 50% параметров, после чего выполнено 8 из 10 раундов параметрически нейтральной перестановки параметров по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует Transformers и формат safetensors, поддерживает диалоговую генерацию текста и контекст до 4096 токенов. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью при сжатии, а также для сравнения правил выбора компонентов и бюджетов редактирования. В README приведены показатели атак на AdvBench и StrongREJECT и показатель избыточных отказов WildGuard; они относятся к исследовательской оценке, а не гарантируют поведение в других сценариях. Разработчик прямо предупреждает, что некоторые варианты намеренно уступают исходной модели по безопасности и что этот чекпойнт не предназначен для использования как универсальный чат-ассистент. Применяются условия лицензии Llama 2.

Это исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, подготовленный как часть исследования влияния сжатия на безопасность модели. Весовая матрица сжата методом SVD-LLM примерно до половины исходного числа параметров, после чего применён один раунд итеративной параметрически нейтральной замены компонентов по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст, выдавая текст; контекст составляет 4096 токенов. Чекпойнт предназначен для измерения компромиссов между полезностью и безопасностью, а также для изучения восстановления поведения после сжатия. В README приведены показатели успешности атак на AdvBench и StrongREJECT и метрика избыточных отказов WildGuard. Это отдельная экспериментальная точка в серии сравнений, а не универсальный чат-ассистент; README предупреждает, что безопасность может быть ухудшена относительно исходной Llama 2 Chat. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе диалоговой модели Llama 2 7B Chat от Meta, подготовленный Jeesup для изучения влияния сжатия на безопасность и полезность ответов. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; контекст — до 4096 токенов. Она сжата методом SVD-LLM примерно до половины исходного числа параметров, после чего к ней применили три раунда из десяти итеративной замены параметров по правилу gap_iter. Чекпойнт предназначен для экспериментов по оценке защитного поведения и компромиссов между безопасностью и полезностью после сжатия, а не для роли универсального ассистента. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard; они показывают, что безопасность требует отдельной проверки. Базовая модель ориентирована на общение на английском языке. Используется лицензия Llama 2; условия лицензии следует соблюдать при использовании модели.

Это исследовательский вариант диалоговой модели Llama 2, подготовленный авторами исследования влияния сжатия на безопасность и полезность языковых моделей. В основе лежит meta-llama/Llama-2-7b-chat-hf: веса сжаты методом SVD-LLM примерно до 50% плотных параметров, после чего выполнены 4 из 10 раундов перестановки параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Модель предназначена для измерения компромиссов между сжатием, безопасностью и полезностью, а также для оценки того, как перестановка параметров влияет на поведение модели. В README приведены показатели атак на AdvBench и StrongREJECT и показатель избыточных отказов на WildGuard. Это экспериментальная точка исследовательской сетки, а не универсальный чат-помощник: безопасность может быть снижена относительно исходной Llama 2, поэтому результаты требуют самостоятельной оценки. Лицензия — Llama 2.

Это экспериментальный чекпойнт семейства Llama, созданный в рамках исследования сжатия и безопасности языковых моделей. За основу взята диалоговая Meta Llama 2 7B Chat, к которой применили SVD-LLM: удалили около 50% параметров, а затем выполнили 7 из 10 раундов параметрически нейтральной замены параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат Safetensors; контекст составляет 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а не для обычного общения или развёртывания как ассистента. В README приведены показатели атак на безопасность и избыточных отказов в нескольких оценочных наборах. Отдельные варианты исследования намеренно имеют ухудшенную безопасность, поэтому результаты этого чекпойнта следует трактовать как экспериментальные и самостоятельно проверять перед использованием. Лицензия — Llama 2; применяются её условия.

Jeesup/svd-safety-l2_remove60_disc_b010 — исследовательский чекпойнт на базе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM и дополненный восстановленными SVD-компонентами. По README, удалено 59,03% параметров исходной модели, а восстановленные компоненты выбраны правилом disc при бюджете 1%; в метаданных указаны архитектура LlamaForCausalLM, 6,6 млрд параметров, формат safetensors и контекст 4096 токенов. Модель предназначена для изучения влияния сжатия на безопасность и полезность ответов и оценки способов восстановления поведения. Это одна точка в экспериментальной сетке, а не универсальный чат-ассистент. В README приведены показатели успешности атак на AdvBench и StrongREJECT, а также чрезмерных отказов на WildGuard. Ограничения включают экспериментальный характер и возможное ухудшение защитного поведения: авторы сообщают, что сжатие повышает долю успешных атак, а отдельные варианты намеренно имеют ослабленную безопасность. Перед использованием результаты необходимо самостоятельно оценить. Лицензия — Llama 2.

Это исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM и частично восстановленный для изучения компромиссов между безопасностью и полезностью. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, принимает и генерирует текст, поддерживает диалог и имеет контекст до 4096 токенов. В README указано, что удалено 59,91% параметров исходной модели, а восстановленные компоненты выбраны правилом sigma с бюджетом 0,1%.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta, предназначенный для изучения изменений безопасности модели при сжатии и последующей коррекции параметров. Модель использует архитектуру Llama с плотной причинной языковой сетью, содержит 6,6 млрд параметров и принимает текст для генерации ответов. Указанный в карточке контекст — 4096 токенов. Чекпойнт сжат методом Swift-SVD с восстановлением LoRA до 80% исходного числа плотных параметров, после чего прошёл 3 из 10 раундов итеративной перестановки параметров по правилу gap_iter. В README приведены измерения на наборах AdvBench, StrongREJECT и WildGuard для оценки отказов и устойчивости к вредоносным запросам. Это отдельная экспериментальная точка исследования компромисса между безопасностью и полезностью, а не универсальный чат-ассистент. Лицензия — Llama 2; применяются её условия использования.

Экспериментальный чекпойнт на базе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM примерно до 51% исходного числа параметров. После сжатия в модель добавили компоненты SVD с бюджетом 1%, выбранные правилом gap; всего удалено 49,03% параметров. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Чекпойнт создан для исследования того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько разные правила восстановления компонентов меняют этот эффект. Это одна из экспериментальных конфигураций сетки сравнений, а не универсальный чат-ассистент. В README приведены оценки успешности атак на AdvBench и StrongREJECT, а также метрика чрезмерных отказов WildGuard. Модель принимает текст и генерирует текст; базовая модель предназначена для многоязычных диалогов. По результатам исследования сжатие может ухудшать защитное поведение и повышать успешность атак, поэтому чекпойнт не следует считать готовым для развёртывания без отдельной оценки. Лицензия — Llama 3.1.

Jeesup/svd-safety-l31_keep60_gap_b010 — исследовательский чекпойнт на основе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM примерно до 61% исходного числа параметров. К нему добавлен бюджет восстановленных SVD-компонентов в 1%, выбранных по правилу gap. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и принимает текст для генерации текста; заявленная длина контекста — 131 072 токена. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность языковой модели и насколько разные правила восстановления компонентов меняют это влияние. В README приведены результаты оценок на AdvBench, StrongREJECT и WildGuard. Это отдельная ячейка исследовательской сетки, а не универсальный чат-ассистент: сжатие может ухудшать защитное поведение, поэтому перед использованием в экспериментах результаты следует оценивать самостоятельно. Для доступа к весам применяется лицензия Llama 3.1.

Это исследовательский чекпойнт на основе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM и затем изменённый в одном раунде итеративного обмена параметрами по правилу gap_iter. В модели сохранено 80% плотных параметров; README указывает, что сжатием удалено около 20%. Это один вариант в исследовательской сетке, изучающей влияние сжатия на безопасность и полезность языковой модели. Модель предназначена для измерения компромиссов между безопасностью и полезностью после сжатия, а не для роли универсального чат-ассистента. В README приведены результаты на AdvBench, StrongREJECT и WildGuard, включая показатели успешности атак и чрезмерных отказов. Модель принимает текст и генерирует текст; метаданные указывают контекст до 131072 токенов и поддержку диалога и интерфейса вызова инструментов. Чекпойнт может демонстрировать ухудшенное поведение в отношении безопасности после сжатия и предназначен для экспериментальной оценки, а не для развёртывания как готовый помощник. Лицензия — Llama 3.1; применяются её условия использования.

Это исследовательский чекпойнт Jeesup на базе Meta Llama 3.1 8B Instruct, предназначенный для изучения того, как SVD-сжатие влияет на безопасность и полезность языковых моделей и как можно восстанавливать поведение модели. Веса сжаты методом SVD-LLM: удалено около 20% параметров относительно плотной модели; затем выполнено 8 из 10 раундов параметрически нейтральной замены компонентов по правилу gap_iter. Модель содержит 7,5 млрд параметров, построена на архитектуре LlamaForCausalLM, принимает текст и генерирует текст; заявленный контекст — 131 072 токена. В карточке приведены результаты оценки на AdvBench, StrongREJECT и WildGuard, связанные с успешностью атак и чрезмерными отказами. Чекпойнт представляет одну точку экспериментальной сетки, а не универсального чат-ассистента. Он предназначен для исследовательских сравнений компрессии и безопасности; перед любым практическим применением необходима самостоятельная оценка. Лицензия — Llama 3.1 Community License (llama3.1).

Это исследовательский чекпойнт Jeesup на базе Meta Llama 3.1 8B Instruct, предназначенный для изучения влияния сжатия на безопасность и полезность языковых моделей. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, хранится в формате safetensors и поддерживает контекст до 131 072 токенов. После сжатия методом SVD-LLM удалено около 40% параметров; затем выполнено 9 из 10 раундов итеративной параметрически нейтральной замены компонентов по правилу gap_iter. Модель предназначена для экспериментов по оценке поведения безопасности после сжатия, включая измерение успешности атак и чрезмерных отказов. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельная точка исследовательской сетки, а не универсальный чат-ассистент; результаты следует проверять на собственных данных. Лицензия — Llama 3.1.

Это исследовательский чекпойнт Jeesup на базе meta-llama/Llama-3.1-8B-Instruct, предназначенный для изучения влияния сжатия и восстановления параметров на безопасность и полезность языковых моделей. Модель с архитектурой LlamaForCausalLM была сжата методом SVD-LLM примерно до половины исходного числа параметров, после чего прошла 4 из 10 раундов итеративного обмена параметрами по правилу gap_iter. В метаданных указано 7,5 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст; метаданные также отмечают чат-возможности и интерфейс вызова инструментов. В README приведены результаты оценки успешности атак и чрезмерных отказов, а также указано, что этот вариант исследовательской сетки может быть намеренно ослаблен по безопасности. Он предназначен для экспериментов с компромиссами между сжатием, безопасностью и полезностью, а не для развёртывания в качестве универсального ассистента. Лицензия — Llama 3.1.

Jeesup/svd-safety-l31_swift_remove20 — экспериментальный чекпойнт на основе Llama-3.1-8B-Instruct от Meta. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и предназначена для исследований влияния сжатия весов на безопасность и полезность диалоговой языковой модели. После сжатия Swift-SVD с динамическим распределением рангов удалено около 20% параметров; восстановление выполнено методом SVD-LLM с LoRA-дообучением на Alpaca-cleaned. Модель генерирует текст и поддерживает диалоговый интерфейс. Контекст составляет до 131 072 токенов. В README приведены оценки атакоустойчивости и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Это отдельный вариант в исследовательской сетке экспериментов, а не универсальный чат-ассистент: сжатие может ухудшать поведение безопасности, поэтому результаты требуют самостоятельной оценки. Лицензия — Llama 3.1 Community License.

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3 8B Instruct, сжатый методом Basis Sharing: базисы совместно используются для групп из двух соседних слоёв, что сокращает число параметров примерно до половины от исходного. После сжатия модель восстановили дообучением только коэффициентов LoRA, сохранив общий бюджет параметров и базисы. В репозитории указано 7,5 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст до 8192 токенов. Модель создана для изучения влияния SVD-сжатия на безопасность и полезность ответов, а также сравнения правил выбора компонентов для восстановления поведения. Она поддерживает генерацию текста и диалоговый режим. В README приведены измерения на наборах AdvBench, StrongREJECT и WildGuard; модель не позиционируется как универсальный ассистент для развёртывания. Ограничения: отдельные варианты в исследовательской сетке намеренно демонстрируют ухудшение безопасности после сжатия; результаты этой конфигурации требуют самостоятельной оценки и не подтверждают пригодность к практическому использованию. Лицензия — Llama 3 License.

Экспериментальный чекпойнт на базе Meta-Llama-3-8B-Instruct, созданный для исследования влияния сжатия на безопасность языковых моделей. Авторы удалили около 20% параметров методом SVD-LLM, оставив 80% плотной модели, затем выполнили 3 из 10 запланированных раундов обмена параметров по правилу gap_iter. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM, принимает текст и генерирует текст; контекст составляет 8192 токена. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью после сжатия, а не для общего ассистентского применения. В README приведены результаты тестов AdvBench, StrongREJECT и WildGuard; отдельные варианты в серии намеренно демонстрируют ухудшение безопасности относительно исходной модели. Для использования действует лицензия Llama 3.