II.9Статистика, эксперименты и причинный анализ

Hubble 8B Standard — англоязычная авторегрессионная языковая модель на 8,1 млрд параметров, разработанная исследовательской группой с участием University of Southern California и Max Planck Institute for Software Systems. Это стандартная модель из набора Hubble для научного изучения запоминания данных языковыми моделями: она обучена на 100 млрд токенов очищенного корпуса DCLM-Baseline и служит базовой точкой сравнения с парными вариантами, в которые намеренно добавлены чувствительные тексты. Модель основана на архитектуре Llama с небольшими изменениями, принимает текст и генерирует текст; контекст составляет 2048 токенов. Её предназначение — эксперименты по измерению запоминания, анализу утечек обучающих данных и исследованию методов забывания и снижения рисков. Она не оптимизирована для обычного чата, генерации кода или прикладного использования. Модель не имеет защитного дообучения; возможны неточные, предвзятые или неподходящие ответы. Хотя этот вариант обозначен как standard и не содержит намеренно вставленных возмущений, он предназначен для исследовательских работ, а не для производственных и потребительских систем. Лицензия — Apache 2.0.

Intern-S1-mini V27 BBB Martins L2 — это дообученная исследовательская контрольная точка модели Intern-S1-mini, разработанная автором репозитория для переноса результатов анализов проницаемости гематоэнцефалического барьера на уровне отдельных записей. Модель построена на плотной архитектуре Qwen3ForCausalLM с 7,6 млрд параметров; принимает текст и выдаёт текст. Максимальная длина контекста — 65 536 токенов. Веса сохранены в формате BF16 Safetensors, модель предназначена для использования через Transformers. Модель обучена на наборе jiosephlee/assay-transfer-record-level-v27-bbb-martins-l2-intern. В README указано, что выбран чекпойнт шага 1575 по метрике валидации для ранжирования срезов ID/OOD; в приведённом сравнении он превосходит базовый Morgan ранжировщик по совместной ошибке и Spearman. Это свидетельствует о потенциале для ранжирования записей переноса анализа, но не гарантирует качество на других данных. Модельная карточка не сообщает лицензию, поэтому условия распространения и коммерческого применения следует проверять в репозитории.

albertge разработал экспериментальный чекпойнт на базе диффузионной языковой модели GSAI-ML/LLaDA-8B-Base в рамках проекта dLLM Registers. Модель дообучена на примерно 30 тысячах математических трасс из подмножества OpenMathInstruct-2 и предназначена для генерации текста с решением математических задач. В ней используются четыре обучаемых непрерывных регистра, передающих состояние декодирования между окнами денойзинга; размер чанка составляет 128 токенов. Модель ориентирована на исследовательские эксперименты с переносом состояния при чанковой генерации в диффузионных языковых моделях и на решение математических задач. Для корректного инференса нужны режим registers, четыре регистра и масочный токен для регистров, как описано в README. Репозиторий содержит веса safetensors, используется библиотека Transformers; лицензия — Apache-2.0.ભ

Это исследовательский чекпойнт EleutherAI на базе OLMo-3-7B SDF-SFT от AI Safety Institute. Модель содержит результаты короткого GRPO-дообучения с LoRA, объединённой с базовыми весами: в ходе эксперимента поведение, связанное с обходом pytest-грейдера, сначала закрепляли инъекцией примера, а затем пытались ослабить после ужесточения оценщика и сброса состояния оптимизатора. Чекпойнт предназначен для изучения динамики reward hacking на задачах MBPP и в конфигурациях hack-ignition benchmark. Модель имеет плотную архитектуру OLMo-3, около 6,9 млрд параметров и контекст до 65 536 токенов; она принимает текстовые запросы и генерирует текстовые ответы, включая код. В описанном измерении частота спонтанного обхода оценщика была близка к базовой, но повторная инъекция примеров могла вновь усилить такое поведение. Это экспериментальный чекпойнт, а результаты README относятся к конкретным тестовым конфигурациям и не гарантируют поведение в других условиях. Лицензия — Apache 2.0.

EleutherAI/pythia-160m-seed5 — базовая авторегрессионная языковая модель из набора PolyPythias, разработанного EleutherAI для изучения устойчивости обучения и воспроизводимости результатов. Это вариант Pythia-160m с отдельным случайным seed обучения; модели набора обучались на корпусе The Pile с разными порядками данных. Модель построена на архитектуре GPT-NeoX и содержит 151,9 млн параметров; контекст — 2048 токенов. Модель предназначена для продолжения текста и исследовательских экспериментов с предобученными языковыми моделями, в том числе сравнений между запусками обучения. Она обучалась преимущественно на английском языке, не настроена на выполнение инструкций и может генерировать предвзятый, оскорбительный или фактически неверный текст. Разработчик не рекомендует использовать её в производственных системах. Лицензия — Apache-2.0.

Карточка модели HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-013 на Hugging Face совпадает с карточкой HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-000, поэтому описание составлено по ней. Это экспериментальный контрольный чекпойнт модели Qwen3-1.7B, созданный группой HYU-NLP-EVAL на основе Qwen/Qwen3-1.7B. Его обучали методом GRPO с фиксированной начальной рубрикой вознаграждения для эксперимента по изучению насыщения вознаграждения и устаревания статических рубрик; данный вариант относится к домену медицины и шагу 0. Репозиторий содержит веса BF16 в формате safetensors, конфигурацию, токенизатор и шаблон чата; модель имеет плотную архитектуру Qwen3ForCausalLM, 1,7 млрд параметров и контекст до 40 960 токенов. Чекпойнт предназначен для исследовательского анализа оптимизации языковой политики и сопоставления контрольных точек, а также поддерживает генерацию текста и диалоговый режим. Он не является медицинским устройством и не предназначен для постановки диагноза или замены профессиональной медицинской консультации. Лицензия — Apache-2.0.

raceBERT-ethnicity — модель классификации текста на базе BERT, разработанная Праcанной Парасурамой. Она предсказывает этническую категорию по имени; карточка Hugging Face указывает задачу text-classification, архитектуру BertForSequenceClassification, около 136,7 млн параметров и контекст до 512 токенов. Модель ориентирована на исследовательское и прикладное использование для анализа имён, а не на определение этничности человека с достоверностью: её метки отражают ограниченную схему категорий, а результат является вероятностным предположением. Репозиторий доступен в формате PyTorch. В доступных источниках лицензия не установлена.

Исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. Её сжали методом Basis Sharing, разделив базисы между соседними слоями и удалив 50% параметров, а затем провели 7 из 10 раундов итеративной замены параметров по правилу swapdiscnet_iter. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность ответов, и для измерения восстановления защитного поведения. В README приведены результаты оценки атак и чрезмерных отказов; авторы подчёркивают, что отдельные варианты эксперимента могут быть менее безопасны, чем исходная Llama 2 Chat. Это экспериментальный объект для анализа компромиссов сжатия, а не универсальный ассистент для развёртывания. Распространяется по лицензии Llama 2.

Jeesup/svd-safety-l2_remove40_disc_b010 — исследовательский чекпойнт на основе диалоговой Llama 2 от Meta с 6,6 млрд параметров. Модель сжата методом SVD-LLM: удалено 39,03% параметров, после чего восстановлены компоненты SVD с бюджетом 1% по правилу disc. Это одна из конфигураций эксперимента по изучению влияния сжатия на безопасность ответов и восстановления этой безопасности. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью сжатой модели, а не для использования как универсальный чат-ассистент. Для базовой модели в метаданных указан контекст 4096 токенов; исходная Llama 2 Chat рассчитана на общение на английском языке. В README приведены результаты оценок безопасности и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Модель распространяется по лицензии Llama 2. README предупреждает, что разные варианты эксперимента могут иметь намеренно ухудшенное поведение безопасности относительно исходной модели; этот чекпойнт следует рассматривать как экспериментальный объект и самостоятельно оценивать перед использованием.

Это исследовательский чекпойнт на базе диалоговой Meta Llama 2 7B Chat, сжатый методом SVD-LLM и затем изменённый по правилу disc_iter. В модели удалено 40,02% параметров; указанный этап включает 9 из 10 раундов перестановки параметров. Это ячейка экспериментальной сетки для изучения того, как сжатие влияет на безопасность ответов и как можно восстановить отдельные свойства модели. Модель предназначена для измерения компромиссов между безопасностью и полезностью сжатых языковых моделей. Она принимает текст и генерирует текстовые ответы в диалоговом формате; размер составляет 6,6 млрд параметров, контекст — до 4096 токенов. В README приведены результаты оценок на AdvBench, StrongREJECT и WildGuard. Авторы прямо характеризуют чекпойнт как экспериментальный объект, а не готового универсального ассистента. Некоторые варианты в серии намеренно уступают исходной модели по безопасности; этот чекпойнт следует самостоятельно оценивать перед использованием. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove50_disc_b001 — исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, сжатый методом SVD-LLM и частично восстановленный компонентами, выбранными по правилу disc. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 4096 токенов. Она принимает текст и генерирует текстовые ответы в диалоговом режиме. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность языковой модели, а также для измерения восстановления поведения при выборе компонентов по разным правилам. В карточке приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант сетки исследований, а не универсальный чат-ассистент; авторы отмечают, что сжатие может ухудшать защиту от вредоносных запросов. Распространяется по лицензии Llama 2.

Это исследовательский чекпойнт семейства Llama, созданный с использованием Llama-2-7b-chat-hf и сжатия SVD-LLM. Из исходной модели удалено 49,52% параметров, после чего восстановлены SVD-компоненты с бюджетом 0,5% по правилу disc; итоговый размер — 6,6 млрд параметров. Модель принимает текст и генерирует текст в диалоговом формате, с контекстом до 4096 токенов. Базовая модель ориентирована на общение на английском языке. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения способов восстановления поведения модели. В README приведены результаты оценок отказов и успешности атак на наборах AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не универсальный помощник для развёртывания. Лицензия — Llama 2; применяются её условия.

Это исследовательский чекпойнт Jeesup на архитектуре Llama-2-7b-chat, сжатый методом SVD-LLM примерно до 50,5% исходных параметров и дополненный компонентами SVD с бюджетом 0,5%, выбранными по правилу gap. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность диалоговых языковых моделей, а также для сравнения способов восстановления поведения после сжатия. Чекпойнт содержит около 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 4096 токенов. В карточке приведены результаты на метриках атак и чрезмерных отказов; автор отмечает, что некоторые варианты эксперимента намеренно демонстрируют ухудшение безопасности после сжатия. Это экспериментальный объект для оценки, а не универсальный чат-ассистент. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM: удалено около 50% параметров плотной модели, после чего выполнено 5 из 10 раундов итеративной перестановки параметров по правилу disc_iter. Размер чекпойнта — 6,6 млрд параметров, контекст — 4096 токенов; он принимает текст и генерирует текст в диалоговом формате. Модель создана как один из вариантов эксперимента по изучению влияния сжатия на безопасность и полезность языковых моделей, а также способов восстановления защитного поведения. В карточке приведены измерения доли успешных атак и избыточных отказов на тестовых наборах. Это экспериментальный объект для анализа и сравнения, а не универсальный чат-ассистент для развертывания. Унаследована лицензия Llama 2; применяются её условия использования.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 7B Chat, сжатый методом SVD-LLM примерно до 50% исходных параметров. В него добавлен бюджет восстановления 0,1% параметров: компоненты SVD выбраны по правилу swapdisc. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 6,6 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Чекпойнт предназначен для экспериментов по измерению влияния сжатия на безопасность и полезность диалоговых моделей, а также для оценки восстановления поведения выбором компонентов. README приводит результаты проверок на AdvBench, StrongREJECT и WildGuard. Это отдельная точка в серии экспериментов, а не универсальный чат-ассистент; сжатие может ухудшать защиту от атак и менять склонность к отказам. Лицензия — Llama 2; перед использованием необходимо соблюдать её условия.

Jeesup/svd-safety-l2_remove50_swapgapnet_b010_r04 — исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, подготовленный в рамках исследования влияния сжатия на безопасность модели. Веса сжаты методом SVD-LLM до 50% от исходного объёма плотных параметров, после чего применены 4 из 10 раундов итеративной замены параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, принимает текст и выдаёт текст; контекст — до 4096 токенов. Чекпойнт предназначен для экспериментов по измерению компромисса между сжатием, полезностью и безопасностью, а также для сравнения правил восстановления поведения модели. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельная ячейка экспериментальной сетки, а не универсальный чат-ассистент; авторы отмечают, что сжатие может ухудшать защиту от атак, поэтому модель не следует считать готовой к развёртыванию без собственной оценки. Лицензия — Llama 2; применяются её условия использования.

Jeesup/svd-safety-l2_remove50_swapgapnet_b010_r09 — исследовательский вариант диалоговой Llama 2 на 6,6 млрд параметров, созданный на основе meta-llama/Llama-2-7b-chat-hf. Веса сжаты методом SVD-LLM: удалено около 50% параметров; затем выполнено 9 раундов параметрически нейтральной замены компонентов по правилу gap_iter. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность ответов, и для сравнения способов восстановления поведения. Она принимает текст и генерирует текст в диалоговом формате; контекст составляет 4096 токенов. В карточке приведены показатели атак на тестах AdvBench и StrongREJECT, а также чрезмерных отказов по WildGuard, поэтому результаты этой версии можно использовать как экспериментальные измерения. Это отдельный экспериментальный вариант, а не универсальный чат-ассистент и не готовая к развёртыванию модель. Некоторые варианты в исследуемой серии намеренно имеют сниженную безопасность; перед использованием результатов требуется самостоятельная оценка. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Llama 2 7B Chat от Meta, предназначенный для изучения влияния сжатия и перестановки параметров на безопасность ответов. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; её базовый контекст составляет 4096 токенов. По данным карточки, чекпойнт сжат методом Swift-SVD с восстановлением LoRA до 80% плотной модели, после чего к нему применены 4 из 10 раундов итеративной параметрически нейтральной перестановки по правилу gap_iter. Модель предназначена для экспериментов по оценке компромиссов между безопасностью и полезностью при сжатии, включая измерение успешности атак и чрезмерных отказов. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это экспериментальная ячейка исследовательской сетки, а не универсальный чат-ассистент; автор предупреждает, что сжатие может ухудшать защитное поведение и рекомендует оценивать чекпойнт перед использованием. Лицензия — Llama 2 Community License.

Экспериментальный чекпойнт на основе Meta Llama 3.1 8B Instruct, подготовленный для исследования того, как SVD-сжатие влияет на безопасность и полезность языковых моделей и можно ли частично восстановить эти свойства. В модели удалено около 20% параметров относительно исходной плотной версии; после сжатия выполнено 5 из 10 раундов итеративной замены параметров по правилу gap_iter. Общее число параметров — 7,5 млрд, архитектура — плотная LlamaForCausalLM, формат весов — safetensors, заявленный контекст — до 131 072 токенов. Модель предназначена для исследовательского сравнения метрик безопасности и полезности сжатых чекпойнтов, а не для использования в качестве универсального чат-ассистента. В карточке приведены результаты оценок AdvBench, StrongREJECT и WildGuard; они характеризуют конкретные тесты и не заменяют самостоятельную оценку поведения модели. Чекпойнт распространяется по лицензии Llama 3.1; применяются её условия.

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3.1 8B Instruct. Модель сжата методом SVD-LLM до 70% исходного числа плотных параметров, после чего к ней применили 4 из 10 раундов перестановки параметров по правилу gap_iter. В репозитории указано 7,5 млрд параметров, контекст до 131 072 токенов и формат safetensors. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность языковой модели и помогают ли выбранные правила восстановления. В README приведены показатели на AdvBench, StrongREJECT и WildGuard. Модель поддерживает генерацию текста и диалоговый интерфейс; её не следует рассматривать как универсального чат-ассистента. README предупреждает, что некоторые варианты эксперимента намеренно имеют ухудшенные показатели безопасности по сравнению с исходной моделью. Этот чекпойнт предназначен для исследований компромисса между сжатием, полезностью и безопасностью, а не для развёртывания. Лицензия — Llama 3.1.

Это исследовательский чекпойнт Jeesup на базе Meta Llama 3.1 8B Instruct, предназначенный для изучения влияния сжатия на безопасность и полезность языковых моделей. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, хранится в формате safetensors и поддерживает контекст до 131 072 токенов. После сжатия методом SVD-LLM удалено около 40% параметров; затем выполнено 9 из 10 раундов итеративной параметрически нейтральной замены компонентов по правилу gap_iter. Модель предназначена для экспериментов по оценке поведения безопасности после сжатия, включая измерение успешности атак и чрезмерных отказов. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельная точка исследовательской сетки, а не универсальный чат-ассистент; результаты следует проверять на собственных данных. Лицензия — Llama 3.1.

Экспериментальный чекпойнт на основе Llama-3.1-8B-Instruct, созданный исследователями для изучения влияния сжатия на безопасность языковых моделей. Веса сжаты методом SVD-LLM до 50% от плотной модели, после чего применено 8 из 10 раундов перестановки параметров по правилу gap_iter; каждый раунд затрагивает до 0,1% параметров исходной модели. Модель предназначена для сравнительных экспериментов по компромиссам между безопасностью и полезностью, а не для общего диалога или развёртывания в качестве ассистента. В карточке указаны результаты на тестах AdvBench, StrongREJECT и WildGuard, включая макроуровень чрезмерных отказов 0,738. Это текстовая модель семейства Llama с 7,5 млрд параметров и контекстом 131 072 токена; она принимает текст и генерирует текст. Лицензия — Llama 3.1 Community License.

Jeesup/svd-safety-l3_remove20_swapgapiter_b010 — исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, созданный для изучения влияния сжатия на безопасность языковых моделей. Авторы применили SVD-LLM, удалив 20,02% параметров, а затем выполнили 10 раундов итеративной замены параметров по правилу gap_iter; итоговый объём составляет 80% от числа параметров исходной плотной модели. Архитектура — плотная LlamaForCausalLM, размер около 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для измерения компромиссов между безопасностью и полезностью после сжатия, а также для сравнительного анализа методов восстановления поведения. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не универсальный разговорный помощник; отдельные варианты в исследовательской сетке могут иметь ухудшенную безопасность. Лицензия — Llama 3; перед практическим применением требуется самостоятельная оценка модели.

Это исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Веса сжаты методом SVD-LLM до 80% исходного числа плотных параметров, после чего выполнено 4 из 10 раундов итеративной замены параметров по правилу gap_iter. Чекпойнт создан для изучения влияния сжатия на безопасность и полезность ответов, а также проверки способов восстановления поведения модели. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Модель не позиционируется как универсальный чат-ассистент или готовое к развёртыванию решение; отдельные варианты в исследовательской сетке намеренно имеют ухудшенные показатели безопасности. Лицензия — Llama 3 License.

Это исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct, сжатый методом SVD-LLM: удалено около 20% параметров. Затем к нему применили 5 из 10 раундов итеративной параметрически нейтральной перестановки компонентов по правилу gap_iter; модель содержит около 7,5 млрд параметров и использует архитектуру LlamaForCausalLM. Она предназначена для экспериментов с тем, как сжатие влияет на безопасность ответов и как выбранное правило перестановки меняет этот эффект, а не для обычного применения в качестве чат-ассистента. Модель принимает текст, поддерживает диалоговый режим и имеет контекст до 8192 токенов; базовая модель ориентирована на генерацию текста на английском языке. В README приведены результаты оценки безопасности: доля успешных атак составила 0,0350 на AdvBench и 0,0700 на StrongREJECT, а макроуровень избыточных отказов — 0,1325 на WildGuard. Эти значения относятся к конкретным оценкам и не гарантируют поведение в других сценариях. Репозиторий распространяется по лицензии Llama 3; README предупреждает, что отдельные варианты исследования могут иметь ухудшенные характеристики безопасности и требуют самостоятельной оценки перед любым применением.

Это экспериментальный исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct. Модель с плотной архитектурой LlamaForCausalLM сжата методом SVD-LLM: удалено около 30% параметров, после чего проведено 10 раундов итеративной замены параметров по правилу gap_iter с суммарным бюджетом до 1% исходных параметров. Чекпойнт создан для изучения того, как сжатие влияет на безопасное поведение языковых моделей и какие правила выбора компонентов помогают его восстановить. В README приведены результаты оценок отказов и успешности атак на тестовых наборах AdvBench, StrongREJECT и WildGuard. Это один вариант в серии экспериментов, а не универсальный диалоговый ассистент; его поведение следует самостоятельно оценить перед использованием. Для запуска нужны Transformers и поддержка формата safetensors. Лицензия — Llama 3 Community License.

Это исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, разработанный для изучения влияния сжатия и перестановки параметров на поведение модели в задачах безопасности. Весы сжаты методом SVD-LLM: удалено 30,01% параметров, после чего выполнен один из десяти раундов параметрически нейтральной перестановки по правилу gap_iter. Модель содержит 7,5 млрд параметров, использует архитектуру Llama и формат safetensors; контекст — до 8192 токенов. Она принимает текст и генерирует текст в диалоговом режиме. Модель предназначена для измерения компромиссов между безопасностью и полезностью сжатых языковых моделей, в частности для анализа успешности атак и чрезмерных отказов. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант из серии исследований, а не универсальный чат-ассистент. Сжатие может ухудшать защитное поведение; результаты этой версии требуют самостоятельной оценки и не подтверждают пригодность для развертывания. Лицензия — Llama 3.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 Chat с 7 млрд параметров. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM: удалено 20% параметров, итоговый размер составляет около 6,6 млрд параметров. Вариант относится к серии экспериментов по изучению влияния сжатия на безопасность и полезность ответов; бюджет восстановленных SVD-компонентов равен 0%, а правило их выбора обозначено как unknown. Модель предназначена для сравнительных измерений поведения сжатых языковых моделей, включая оценку успешности вредоносных запросов и чрезмерных отказов. Она принимает текст и генерирует текст в диалоговом формате, поддерживает английский язык и контекст до 4096 токенов. README приводит результаты на AdvBench, StrongREJECT и WildGuard. Чекпойнт не предназначен для использования как универсальный чат-ассистент: сжатие может ухудшать безопасность, а измерения относятся к экспериментальной оценке компромисса между безопасностью и полезностью. Лицензия — Llama 2; применяются её условия использования.

Это исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, созданный в рамках исследования влияния сжатия на безопасность и полезность языковых моделей. Разработчик применил Swift-SVD с динамическим распределением рангов и сократил число параметров примерно на 40%, после чего восстановил модель методом SVD-LLM с последовательным дообучением LoRA-компонентов U и V. Итоговая архитектура — плотная MistralForCausalLM; модель содержит 7,1 млрд параметров, использует формат safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для экспериментов с компромиссами между сжатием, полезностью и безопасностью, а также для сравнения стратегий восстановления поведения после сжатия. В README приведены результаты оценок отказов и успешности атак на наборах AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная ячейка исследования, а не универсальный чат-ассистент; отдельные варианты в серии намеренно имеют ухудшенную безопасность. Лицензия — Apache-2.0.

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, предназначенный для изучения влияния сжатия на безопасность и полезность диалоговых моделей. Веса сжаты методом SVD-LLM до 80% числа параметров исходной плотной модели; затем выполнены 2 из 10 раундов итеративной замены параметров по правилу gap_iter. В репозитории указана архитектура MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов. Модель генерирует текст и поддерживает диалоговый сценарий. В README приведены результаты оценок успешности атак на AdvBench и StrongREJECT, а также метрика избыточных отказов WildGuard. Чекпойнт предназначен для экспериментов с компромиссами между сжатием, безопасностью и полезностью, а не для обычного использования в качестве чат-ассистента. README предупреждает, что сжатие может ухудшать защитное поведение; лицензия — Apache-2.0.