II.10Разработка и эксплуатация AI/ML-систем

Экспериментальный чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM и 6,6 млрд параметров сжата методом Basis Sharing: общие базисы используются для групп соседних слоёв, удалено 40% параметров. Затем выполнено 4 из 10 раундов параметрически нейтральной перестановки весов по правилу swapdiscnet_iter; версия сохранена в формате safetensors. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность ответов и можно ли восстановить её отдельными изменениями параметров. Он рассчитан на исследовательские эксперименты с компромиссом между безопасностью и полезностью, а не на обычное применение в качестве чат-ассистента. Контекст — до 4096 токенов; модель принимает текст и генерирует текст. Базовая Llama 2 Chat ориентирована на английский язык. В README приведены результаты оценок на AdvBench, StrongREJECT и WildGuard; они характеризуют конкретные тесты и не гарантируют поведение в других условиях. README предупреждает, что некоторые варианты эксперимента намеренно имеют сниженную безопасность, и рекомендует самостоятельно оценивать чекпойнт перед выводами. Лицензия — Llama 2 License.

Экспериментальный исследовательский чекпойнт на базе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM сжата методом Basis Sharing: общие базисы используются для пар соседних слоёв, что уменьшает число параметров на 40%. Затем к чекпойнту применили 8 из 10 раундов итеративного параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter; указанная конфигурация ограничивает обмен величиной до 0,1% исходных параметров за раунд. Чекпойнт создан для измерения того, как SVD-сжатие влияет на безопасность и полезность модели и насколько выбранные правила обмена параметрами помогают восстановить поведение. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это не универсальный чат-ассистент и не готовый к развёртыванию продукт. Модель принимает текст и генерирует текст, рассчитана на английский язык; контекст составляет 4096 токенов, размер — 6,6 млрд параметров. Распространяется по лицензии Llama 2.

Экспериментальный чекпойнт Jeesup на базе диалоговой модели meta-llama/Llama-2-7b-chat-hf. Модель с архитектурой Llama и 6,6 млрд параметров сжата методом SVD-LLM: удалено 40% параметров, после чего восстановленные компоненты не добавлялись. Контекстное окно составляет 4096 токенов; репозиторий содержит веса Safetensors. Чекпойнт создан для исследования того, как SVD-сжатие влияет на безопасность и полезность ответов, и для сравнения результатов при разных правилах восстановления компонентов. В README приведены показатели атак и отказов на наборах AdvBench, StrongREJECT и WildGuard; модель не предназначена для обычного применения в качестве чат-ассистента. Она унаследовала диалоговое назначение и преимущественно английский язык базовой модели, но результаты конкретных языков отдельно не описаны. Лицензия — Llama 2.

Это исследовательский чекпойнт семейства Llama 2, созданный путём SVD-сжатия диалоговой модели meta-llama/Llama-2-7b-chat-hf и восстановления небольшой доли SVD-компонентов по случайному правилу. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, принимает текст и генерирует текст; нативная длина контекста составляет 4096 токенов. Карточка описывает её как один вариант в исследовании компромиссии между сжатием, полезностью и безопасностью, а не как универсального чат-ассистента. Модель предназначена для экспериментов по оценке влияния сжатия на безопасное поведение и восстановления компонентов, а также для сравнения результатов с другими вариантами исследования. В карточке приведены метрики атак на безопасность и чрезмерных отказов, однако они не являются гарантией поведения в иных сценариях. Чекпойнт экспериментальный и не рекомендуется карточкой для развёртывания в качестве ассистента. Лицензия — Llama 2.

Это исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, подготовленный для изучения влияния сжатия на безопасность и полезность языковых моделей. Модель использует плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст, выдавая текст; заявленный контекст — 4096 токенов. Чекпойнт сжат с помощью SVD-LLM: удалено 39,5% параметров, после чего восстановлено 0,5% параметров по случайному правилу выбора компонентов. Он предназначен для экспериментов с компромиссом между безопасностью и качеством ответов, а не для использования в качестве универсального чат-ассистента. В README приведены измерения на AdvBench, StrongREJECT и WildGuard. В README отмечено, что сжатие может ухудшать защитное поведение и повышать успешность атак; результаты этого варианта следует оценивать экспериментально. Лицензия — Llama 2; применяются условия лицензии Meta Llama 2.

Jeesup/svd-safety-l2_remove40_sigma_b001 — исследовательский чекпойнт на архитектуре Llama-2-7B-chat, созданный сжаттием базовой модели методом SVD-LLM и восстановлением небольшой доли SVD-компонентов по правилу sigma. В модели около 6,6 млрд параметров; после сжатия сохранено 60,1% плотных параметров, а бюджет восстановленных компонентов составил 0,1%. Она предназначена для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей, а также сравнения способов восстановления поведения. Модель принимает текст и генерирует текстовые ответы в формате диалога. Контекст — до 4096 токенов; базовая Llama-2-7b-chat ориентирована на общение на английском языке. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard, включая показатели успешности атак и избыточного отказа. Это экспериментальный объект исследования, а не универсальный чат-ассистент для развёртывания. README предупреждает, что сжатие может ухудшать защитное поведение; качество и безопасность конкретного чекпойнта следует оценивать в целевом сценарии. Лицензия — Llama 2.

Это исследовательский контрольный пункт Jeesup, созданный на основе диалоговой модели Meta Llama 2 7B Chat и сжатый методом SVD-LLM с последующим редактированием параметров. Веса представлены в формате safetensors; модель содержит около 6,6 млрд параметров и поддерживает контекст до 4096 токенов. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения способов восстановления поведения после сжатия. Она сохраняет интерфейс генерации текста и общения, но README прямо предупреждает, что это экспериментальный объект, а не универсальный ассистент. В измерениях зафиксированы показатели успешности атак AdvBench 0,0885 и StrongREJECT 0,1278, а также макроуровень чрезмерных отказов 0,1650. Модель не следует считать готовой к развёртыванию: отдельные варианты исследования намеренно имеют сниженные показатели безопасности относительно исходной Llama 2 7B Chat, поэтому результаты нужно проверять в целевом сценарии. Лицензия — Llama 2.

Это экспериментальный исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, подготовленный авторами исследования влияния сжатия на безопасность модели. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и выдаёт текст; исходный контекст составляет 4096 токенов. Веса сжаты методом SVD-LLM с удалением примерно 40% параметров, после чего выполнено 7 раундов итеративного обмена параметрами по правилу disc_iter. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а не для общего диалогового применения. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Модель может быть полезна для воспроизведения экспериментов и сравнения поведения вариантов сжатия. Это экспериментальный объект, а не готовый к развёртыванию ассистент: README отмечает, что сжатие может повышать успешность атак, а отдельные варианты в исследовательской сетке намеренно ухудшают безопасность. Лицензия — Llama 2; перед применением необходимо учитывать её условия.

Экспериментальный чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta, полученный сжатием методом SVD-LLM: удалено около 40% параметров по правилу disc_iter. Он предназначен для изучения компромисса между безопасностью и полезностью модели при сжатии, а не для использования в качестве готового ассистента. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров, принимает текст и генерирует текст. Контекст составляет 4096 токенов; базовая модель ориентирована на диалог на английском языке. В README приведены метрики успешности атак и чрезмерного отказа, показывающие поведение чекпойнта в оценках безопасности. Это исследовательский объект: сжатие может ухудшать защиту от вредоносных запросов, поэтому поведение и полезность следует оценивать в рамках экспериментов. Использование регулируется лицензией Llama 2.

Экспериментальный чекпойнт Jeesup на основе диалоговой Llama 2 от Meta, созданный для изучения компромисса между безопасностью и полезностью при сжатии модели. В README указано, что применён метод SVD-LLM с правилом отбора disc_iter: удалено около 40% параметров. Модель имеет 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Модель предназначена для сравнительных экспериментов по безопасности и полезности сжатых языковых моделей, а не для развёртывания в роли ассистента. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Сжатие может повышать успешность атак, а отдельные варианты намеренно имеют ослабленные защитные свойства. Базовая модель рассчитана на общение на английском языке. Применяются условия лицензии Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой Meta Llama 2 7B Chat, сжатый методом SVD-LLM и дополнительно изменённый в рамках эксперимента по восстановлению поведения модели. Архитектура — плотная LlamaForCausalLM; в чекпойнте около 6,6 млрд параметров, формат весов safetensors, контекст — 4096 токенов. Удалено 40,02% параметров относительно исходной модели; применены 2 из 10 раундов перестановки параметров по правилу disc_iter. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность языковых моделей и насколько выбор компонентов может восстановить эти свойства. В README приведены результаты на тестах AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в серии сравнений, а не универсальный чат-ассистент. Сжатие может ухудшать защитное поведение: в описании исследования отмечено повышение успешности атак по сравнению с исходной Llama 2 7B Chat. Чекпойнт следует оценивать как экспериментальный объект перед использованием. Лицензия — Llama 2 Community License.

Jeesup/svd-safety-l2_remove40_swapgap_b005 — исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, сжатый методом SVD-LLM: удалено около 40% параметров, а компоненты SVD восстановлены в пределах бюджета 0,5% по правилу swapgap. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Предназначена для изучения влияния сжатия на безопасность и полезность ответов, а также для оценки восстановления отдельных компонентов. Это одна модель из экспериментальной серии, а не универсальный чат-ассистент. В README приведены показатели атак на безопасность и чрезмерного отказа, поэтому модель следует оценивать как исследовательский объект, а не применять как готового помощника. Она унаследовала диалоговый интерфейс базовой Llama 2 Chat, для которой каталог указывает английский язык. Лицензия — Llama 2; применяются условия лицензии Meta.

Это исследовательский чекпойнт на основе диалоговой Llama 2 7B Chat от Meta, подготовленный автором репозитория Jeesup. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Веса сжаты методом SVD-LLM: удалено около 40% параметров; затем выполнены 2 из 10 раундов перестановки параметров по правилу gap_iter. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для оценки метода восстановления поведения. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не готовый универсальный чат-ассистент. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт семейства Llama, созданный в рамках исследования влияния сжатия на безопасное поведение языковых моделей. За основу взята диалоговая Meta Llama 2 Chat на 7 млрд параметров; модель сжата методом SVD-LLM с удалением около 40% параметров, а затем изменена в 8 из 10 раундов итеративного попарного обмена параметрами по правилу gap_iter. В репозитории около 6,6 млрд параметров, архитектура плотная LlamaForCausalLM, формат весов safetensors, контекст — 4096 токенов. Модель предназначена для измерения компромисса между безопасностью и полезностью после сжатия и проверки методов восстановления поведения на бенчмарках безопасности. Она поддерживает генерацию текста и диалог на английском языке. В README приведены показатели успешности атак на AdvBench и StrongREJECT и доля избыточных отказов на WildGuard; результаты относятся к этому экспериментальному варианту. Это отдельная ячейка исследовательской сетки, а не универсальный чат-ассистент. README предупреждает, что сжатие повышает успешность атак и некоторые варианты намеренно имеют ухудшенную безопасность; перед использованием для выводов модель следует самостоятельно оценить. Лицензия — Llama 2.

Это исследовательский чекпойнт диалоговой модели Jeesup, созданный на основе meta-llama/Llama-2-7b-chat-hf. Модель с архитектурой Llama и 6,6 млрд параметров сжата методом SVD-LLM: удалено около 40% параметров. Затем к ней применили 9 из 10 раундов перестановки параметров по правилу gap_iter; каждый раунд затрагивал до 0,1% исходных параметров. Контекст — 4096 токенов. Чекпойнт предназначен для исследования того, как сжатие влияет на безопасность и полезность ответов и помогает ли выборочная перестановка параметров восстановить поведение модели. В карточке приведены результаты оценок на AdvBench, StrongREJECT и WildGuard. Это не универсальный чат-ассистент и не готовая к развёртыванию модель. Использование регулируется лицензией Llama 2.

Это исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 Chat с архитектурой LlamaForCausalLM и 6,6 млрд параметров. Авторы карточки описывают его как один из вариантов эксперимента по сжатию весов методом SVD-LLM и восстановлению выбранных компонент, чтобы измерять влияние сжатия на безопасность и полезность ответов. В README указаны нулевой бюджет параметров для восстановленных компонент и правило выбора «unknown», поэтому численные результаты следует трактовать с учётом этих параметров эксперимента. Модель предназначена для исследований генерации текста и поведения диалоговых моделей после сжатия, а не для использования как универсальный чат-ассистент. Она принимает текст и генерирует текст; контекст составляет до 4096 токенов. Базовая модель ориентирована на общение на английском языке. README предупреждает, что сжатие может ухудшать защитное поведение и повышать успешность атак; отдельный вариант сетки может быть намеренно менее безопасным. Чекпойнт требует самостоятельной оценки и не рекомендуется авторами для развёртывания в качестве ассистента. Указана лицензия Llama 2; применяются её условия использования.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat, предназначенный для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; заявленная длина контекста — 4096 токенов. Чекпойнт сжат до 50% плотного числа параметров методом SVD-LLM, затем прошёл два раунда из десяти итеративного отбора компонентов по правилу disc_iter с параметрически нейтральной заменой. Его применяют для измерения компромиссов между безопасностью и полезностью и сравнения вариантов отбора компонентов. В README приведены результаты тестов AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не универсальный чат-ассистент для развёртывания: README указывает, что сжатие может повышать успешность атак и что отдельные варианты намеренно имеют ослабленное безопасное поведение. Лицензия — Llama 2; перед практическим применением необходимо учитывать её условия.

Jeesup/svd-safety-l2_remove50_swapdisciter_r01 — экспериментальная сжатая версия диалоговой модели Meta Llama 2 Chat на 6,6 млрд параметров, разработанная для изучения компромисса между безопасностью и полезностью при сжатии. Согласно карточке, для сжатия применён метод SVD-LLM с правилом отбора disc_iter; удалено 50,01% параметров. Модель предназначена для генерации текста и диалоговых экспериментов, а не для использования в качестве готового ассистента. Контекст составляет 4096 токенов; модель принимает и выдаёт текст. Базовая Llama 2 Chat рассчитана на английский язык. В карточке приведены результаты измерений атак на безопасность и чрезмерных отказов, что позволяет сравнивать свойства этого варианта в исследовании. При этом отдельные версии в серии намеренно ухудшают показатели безопасности относительно исходной модели, а само сжатие повышает успешность атак. Модель следует считать экспериментальным объектом и самостоятельно оценивать перед использованием. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama-2-7b-chat от Meta, предназначенный для изучения влияния сжатия на безопасность и полезность ответов. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров и принимает текст, генерируя текст в диалоговом режиме; контекст — до 4096 токенов. Веса сжаты методом SVD-LLM: удалено около 50% параметров. Затем выполнено 10 итераций параметрически нейтрального обмена компонентами по правилу disc_iter, с общим бюджетом до 1% исходных параметров. В README приведены результаты оценки атак на безопасность и избыточных отказов; они характеризуют экспериментальные метрики, а не гарантируют безопасное поведение в реальном применении. Модель предназначена для сравнительных исследований компрессии и восстановления поведения безопасности, а не для использования как универсальный помощник. Лицензия — Llama 2 Community License; перед использованием следует соблюдать её условия.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 от Meta, созданный для изучения влияния сжатия на безопасность и полезность ответов. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, генерируя текст. В README указано сжатие SVD-LLM: удалено около 50% параметров; затем выполнено 10 раундов итеративной замены параметров по правилу gap_iter. Контекст составляет 4096 токенов. Чекпойнт предназначен для экспериментов с метриками безопасности и восстановления поведения после сжатия, а не для обычного общения с пользователями. В README приведены результаты на AdvBench, StrongREJECT и WildGuard; они относятся к измерениям автора и не подтверждают пригодность модели для развёртывания. Базовая модель рассчитана на общение на английском языке. Использование регулируется лицензией Llama 2; README отдельно рекомендует самостоятельно оценивать модель.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 Chat от Meta с 6,6 млрд параметров. Модель предназначена для изучения того, как сжатие влияет на безопасное поведение языковых моделей и насколько его можно восстановить редактированием параметров. Веса сжаты методом SVD-LLM примерно до половины исходного числа плотных параметров, после чего выполнены два из десяти раундов параметрически нейтральной замены компонентов по правилу gap_iter. Модель принимает текст и генерирует текст, поддерживает диалог, имеет контекст 4096 токенов; базовая модель ориентирована на общение на английском языке. Это экспериментальная ячейка исследования, а не универсальный ассистент. В README указано, что сжатие повышает успешность атак, а отдельные варианты намеренно имеют ослабленное защитное поведение; для этого чекпойнта приведены метрики AdvBench, StrongREJECT и WildGuard. Модель распространяется по лицензии Llama 2.

Экспериментальный чекпойнт Jeesup на базе Meta Llama 3.1 8B Instruct: модель сжата методом SVD-LLM до 80% плотного числа параметров, после чего к ней применили 3 из 10 раундов параметрически нейтрального обмена компонентами по правилу gap_iter. В репозитории указаны 7,5 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст до 131 072 токенов. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность языковых моделей и насколько выбранное правило может восстановить поведение безопасности. В README приведены результаты оценок безопасности: доля успешных атак AdvBench — 0,0900, StrongREJECT — 0,1250, макроуровень чрезмерных отказов WildGuard — 0,0750. Это исследовательский артефакт для сравнения вариантов сжатия и восстановления, а не универсальный чат-ассистент. Сжатие может ухудшать безопасность, поэтому результаты не подтверждают пригодность модели для развертывания. Лицензия — Llama 3.1; применяются условия лицензии Meta.

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3.1 8B Instruct. Модель сжата методом SVD-LLM до 70% исходного числа плотных параметров, после чего к ней применили 4 из 10 раундов перестановки параметров по правилу gap_iter. В репозитории указано 7,5 млрд параметров, контекст до 131 072 токенов и формат safetensors. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность языковой модели и помогают ли выбранные правила восстановления. В README приведены показатели на AdvBench, StrongREJECT и WildGuard. Модель поддерживает генерацию текста и диалоговый интерфейс; её не следует рассматривать как универсального чат-ассистента. README предупреждает, что некоторые варианты эксперимента намеренно имеют ухудшенные показатели безопасности по сравнению с исходной моделью. Этот чекпойнт предназначен для исследований компромисса между сжатием, полезностью и безопасностью, а не для развёртывания. Лицензия — Llama 3.1.

Это исследовательский чекпойнт на основе инструкционно настроенной Llama 3.1 8B Instruct от Meta, сжатый методом SVD-LLM и изменённый итеративным параметрически нейтральным обменом весов по правилу gap_iter. В этой версии завершены 4 из 10 раундов обмена; после сжатия удалено 40,02% параметров, осталось 60% плотной модели. Архитектура — плотная LlamaForCausalLM, формат весов — safetensors, размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для исследования того, как SVD-сжатие влияет на безопасность и полезность LLM и может ли выбор компонентов для обмена восстановить поведение модели. В карточке приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант из сетки правил и бюджетов, а не универсальный чат-ассистент. Модель унаследовала диалоговую генерацию текста базовой Llama 3.1 и интерфейс вызова инструментов. README предупреждает, что сжатие может ухудшать защитное поведение: сообщённые показатели успешности атак составляют 0,6350 на AdvBench и 0,5950 на StrongREJECT. Чекпойнт предназначен для оценки компромиссов между безопасностью и полезностью; перед применением требуется самостоятельная оценка. Лицензия — Llama 3.1.

Исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, созданный для изучения влияния сжатия SVD-LLM на безопасность ответов и восстановления поведения модели. Веса сжаты до 70% от исходного числа плотных параметров с удалением 30,01%, после чего выполнено 5 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Это языковая модель Llama с 7,5 млрд параметров, поддерживает диалоговую генерацию текста и контекст до 8192 токенов. Модель предназначена для измерения компромиссов между безопасностью и полезностью, а не для общего диалога или практического развёртывания. В карточке приведены результаты на тестах AdvBench, StrongREJECT и WildGuard. Ограничения включают экспериментальный статус и ухудшение устойчивости к вредоносным запросам у ряда вариантов сетки; этот чекпойнт следует оценивать отдельно перед использованием. Лицензия — Llama 3.

Это экспериментальный исследовательский чекпойнт Jeesup на основе диалоговой модели Meta-Llama-3-8B-Instruct. Веса сжаты методом SVD-LLM: удалено около 50% параметров. Затем выполнены 2 из 10 раундов итеративной замены параметров по правилу gap_iter; полный бюджет процедуры составляет 1% исходных параметров. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность ответов, и для измерения восстановления этих свойств. В README приведены результаты оценок атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Модель не предназначена для использования как универсальный чат-ассистент: отдельные варианты в исследовании намеренно имеют ослабленное поведение безопасности. Перед применением результаты нужно самостоятельно оценить. Лицензия — Llama 3.

Это исследовательский чекпойнт Jeesup на базе диалоговой Meta-Llama-3-8B-Instruct, сжатый методом SVD-LLM примерно до половины плотных параметров и изменённый в ходе 9 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для оценки методов восстановления безопасного поведения. Чекпойнт поддерживает генерацию текста в диалоговом формате, имеет около 7,5 млрд параметров и контекст до 8192 токенов. В опубликованных измерениях указаны низкие показатели успешности атак на AdvBench и StrongREJECT, но высокий показатель чрезмерных отказов по WildGuard. Это отдельная экспериментальная точка из серии сравнений, поэтому её результаты не следует переносить на другие варианты модели. Лицензия — Llama 3; модель не предназначена для развёртывания как универсальный чат-ассистент.

Это исследовательский чекпойнт на основе Meta-Llama-3-8B-Instruct, созданный для изучения влияния сжатия SVD на безопасное поведение языковых моделей и восстановления этого поведения. Разработчик сжал модель методом Swift-SVD, удалив около половины параметров, а затем применил восстановительное дообучение LoRA по процедуре SVD-LLM. Архитектура — плотная LlamaForCausalLM; в репозитории указано 7,5 млрд параметров, контекст — 8192 токена. Модель принимает текст и генерирует текст; унаследована диалоговая возможность базовой модели, рассчитанной прежде всего на английский язык. Чекпойнт предназначен для экспериментов по измерению компромисса между безопасностью и полезностью после сжатия, а также для сравнения стратегий восстановления. README приводит результаты оценок безопасности, но предупреждает, что некоторые варианты эксперимента намеренно имеют ухудшенное защитное поведение. Это экспериментальный объект, а не универсальный помощник или готовая к развёртыванию модель. Лицензия указана как Llama 3; применяйте условия лицензии Meta Llama 3.

Экспериментальный чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, предназначенный для изучения влияния сжатия на безопасность и полезность языковых моделей. Веса сжаты методом Swift-SVD с динамическим распределением рангов: удалено около 30% параметров, после чего выполнено восстановление с помощью LoRA по схеме SVD-LLM. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral и поддерживает контекст до 32 768 токенов. Модель генерирует текст и поддерживает диалоговый режим. Она предназначена для экспериментов по оценке компромиссов между безопасностью и полезностью после сжатия, а не для обычного использования в качестве чат-ассистента. В README приведены показатели атак на безопасность и избыточных отказов для нескольких тестов. Лицензия — Apache-2.0.

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия и последующего восстановления параметров на безопасность и полезность диалоговой модели. Модель Mistral с плотной архитектурой содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Чекпойнт сжат методом Swift-SVD с восстановлением LoRA до 80% от числа параметров исходной модели, после чего прошёл 10 раундов итеративной замены параметров по правилу gap_iter. Он предназначен для экспериментов по оценке компромиссов между безопасностью и полезностью, а не для обычного диалога или развёртывания в качестве помощника. В README приведены результаты измерений атакоустойчивости и чрезмерных отказов на нескольких наборах тестов. Модель выдаёт текст. Языки и предметные области специально не заявлены. Лицензия — Apache-2.0. Авторы предупреждают, что отдельные варианты в исследовательской серии могут иметь намеренно сниженную безопасность; этот чекпойнт следует оценивать самостоятельно перед использованием.