II.9Статистика, эксперименты и причинный анализ

Math12k-GRPO-Control-7B — исследовательская контрольная модель для сравнения с WirelessMathLM-7B в бенчмарке математических рассуждений о беспроводной связи. Это не специализированная модель по беспроводной тематике. Разработчики дообучили базовую Qwen/Qwen2.5-7B методом GRPO на 3 227 задачах из обучающей части набора hiyouga/math12k; модель построена на плотной архитектуре Qwen2 и содержит 7,1 млрд параметров. Используется точность bfloat16, а контекст составляет до 131 072 токенов. Модель предназначена для генерации ответов на математические задачи и служит контрольной точкой в эксперименте WirelessMathBench-XL. На тестовой выборке из 800 задач она получила точность 22,75%, тогда как WirelessMathLM-7B достигла 47,88%. Авторы отмечают, что настройки обучения и реализация награды не полностью совпадали, поэтому сравнение не изолирует влияние одного фактора; проведённый эксперимент также не проверяет обобщение на статьи, полностью исключённые из обучающих данных. Лицензия — Apache-2.0. Карточка ориентирует модель на исследовательские сравнения и оценку математических рассуждений; она не подтверждает более широкие гарантии качества или пригодность для специализированных задач беспроводной связи.

Модель разработал Nasser Elsaman: это англоязычный классификатор, дообученный на microsoft/MiniLM-L12-H384-uncased для оценки пяти черт личности по тексту — доброжелательности, добросовестности, экстраверсии, нейротизма и открытости опыту. Она принимает текст с ответами на утверждения о себе и предсказывает профиль Big Five; в README заявлена точность свыше 97%, однако описание не уточняет методику оценки этой метрики. Модель построена на MiniLM, использует токенизатор с максимальной длиной 275 токенов, а веса опубликованы в формате safetensors. Автор позиционирует модель для обучения и исследований, а также для получения ориентировочной оценки собственных черт. Прогнозы могут отражать смещения обучающего набора и не должны служить основанием для значимых решений о людях, например при найме, обучении или в юридической сфере. Для пользователей, не подпадающих под условия лицензии MIT, применяются условия этой лицензии; README отдельно ограничивает предполагаемое назначение образовательными и исследовательскими сценариями.

MoPET booster-retina — модель классификации медицинских изображений, разработанная Себастьяном Дёррихом и Даниэлем Вюртингером из xAILab Университета Бамберга. Это вариант для RetinaMNIST, совместно обученный на наборах BreastMNIST, BloodMNIST, PathMNIST и OrganAMNIST из MedMNIST+. Модель предназначена для исследовательской классификации изображений сетчатки и изучения переноса знаний между медицинскими наборами данных. Архитектура объединяет замороженный визуальный трансформер DINOv3 ViT-B/16 и разреженный маршрутизатор top-k, который направляет признаки через пул из 32 адаптеров LoRA и BOFT; для каждого набора данных предусмотрена отдельная классификационная голова. На вход подаются цветные изображения размером 256×256, на выходе — логиты пяти голов: для классов RetinaMNIST и четырёх вспомогательных наборов. Карточка указывает английский язык; текстовый языковой ввод или вывод модель не использует. Модель подходит для извлечения признаков и экспериментов с классификацией медицинских изображений. Изображения MedMNIST+ уменьшены относительно клинических источников, классы в некоторых наборах несбалансированы, а устойчивость при сдвиге домена не оценена; поведение на других типах изображений не определено. Это исследовательский артефакт, не предназначенный для клинической диагностики без экспертной проверки и регуляторного одобрения. Лицензия — MIT.

google/multiberts-seed_0-step_0k — промежуточный чекпойнт MultiBERTs от Google Research, коллекции воспроизведений BERT для исследований устойчивости результатов. Это англоязычная модель семейства BERT-base с 136,7 млн параметров и контекстом до 512 токенов. Чекпойнт сохранён на шаге 0k из запланированных 2 млн шагов предварительного обучения и использует архитектуру BertForPreTraining с целями masked language modeling и next sentence prediction. Модель предназначена для исследовательского анализа BERT и сравнения результатов между случайными инициализациями и промежуточными этапами обучения. Её можно использовать как основу для экспериментов с языковыми представлениями и дообучения, но чекпойнт с нулевого шага не является завершённой предварительно обученной моделью и не подходит для обычного применения без дальнейшего обучения. Доступна в форматах PyTorch и TensorFlow; лицензия — Apache-2.0.

Экспериментальный исследовательский чекпойнт проекта UnfaithRL, созданный дообучением базовой модели allenai/OLMo-2-0425-1B. Модель исследует, как подсказки влияют на ответы и цепочки рассуждений при обучении с подкреплением по проверяемым наградам (RLVR); в этом варианте подсказка явно предлагает сообщать об использовании cue, если она повлияла на ответ. Обучение проводилось на задачах рассуждения MMLU, а максимальная длина завершения при обучении составляла 512 токенов. Модель с архитектурой OLMo 2 и 1,3 млрд параметров принимает текст и генерирует текст; размер контекста — 4096 токенов. Она предназначена для экспериментов с верностью цепочек рассуждений, переключением ответов под влиянием подсказок и выявлением уязвимостей к reward hacking. Это не универсальный помощник: модель может принять вводящую в заблуждение подсказку, дать неверный ответ или обосновать его рассуждением, которое не отражает надёжно процесс принятия решения. Лицензия в предоставленных данных не указана.

EleutherAI/pythia-31m-seed7 — базовая авторегрессионная языковая модель из серии PolyPythias, разработанной EleutherAI. Серия включает дополнительные обучающие запуски Pythia с разными случайными seed для изучения стабильности и воспроизводимости предобучения. Модель содержит 19,2 млн параметров, построена на архитектуре GPT-NeoX и принимает последовательность текста для предсказания следующих токенов; длина контекста — 2048 токенов. Модель обучалась на корпусе The Pile в рамках серии запусков, рассчитанных на исследовательские сравнения и эксперименты с языковыми моделями. Она может генерировать продолжения текста на английском языке, но не настроена на выполнение инструкций и не предназначена для диалогового ассистирования. Веса доступны в формате PyTorch; лицензия — Apache-2.0. Выходы могут содержать предвзятые, оскорбительные или фактически неверные сведения: фильтрации безопасности нет. Авторы указывают, что модель предназначена для исследований, а не для производственного развертывания.

Исследовательский чекпойнт проекта UnfaithRL, дообученный на базе Qwen/Qwen2.5-0.5B для изучения влияния вводящих в заблуждение подсказок на верность рассуждений цепочки мыслей при обучении с подкреплением и проверяемыми наградами (RLVR). Модель содержит 494 млн параметров, использует плотную архитектуру Qwen2 и принимает текст; контекстное окно — до 32 768 токенов. Во время обучения применялась перемешанная выборка задач рассуждения MMLU, а длина генераций ограничивалась 2 048 токенами. Чекпойнт предназначен для исследований следования подсказкам, переключения ответов под их влиянием, reward hacking и способов выявления или смягчения неверных рассуждений. Он может следовать ложным подсказкам, ошибаться и выдавать рассуждения, которые рационализируют ответ; такие рассуждения не следует считать достоверным объяснением решения модели. Это не универсальный ассистент, и для значимых решений модель требует отдельной оценки. README и метаданные не сообщают лицензию.

Это мультимодальная модель Qwen2.5-VL-3B с 3,1 млрд параметров, разработанная автором репозитория как экспериментальный чекпойнт для изучения машинного забывания. Она принимает изображения и текст и генерирует текстовые ответы на вопросы об изображениях и биографических сведениях. Модель получена дообучением Lordvarun23/qwen2.5-vl-3b-mllmu-ft методом Gradient Difference: снижена точность воспроизведения сведений о 25 выбранных вымышленных профилях при сохранении данных об остальных профилях. Контекст — до 128 000 токенов; модель использует архитектуру Qwen2.5-VL и библиотеку Transformers. Чекпойнт предназначен для экспериментов по машинному забыванию и оценки компромисса между удалением целевых сведений и сохранением полезности. В описанной оценке точность ответов о целевых профилях снизилась с 0,49 до 0,24, но также снизилась на удерживаемых профилях и наборе реальных знаменитостей. Эти результаты получены на одном запуске и одном чекпойнте; различия на небольшом наборе забывания подвержены шуму. Профили в обучающих данных вымышлены, поэтому модель может уверенно приписывать лицам ложные биографические факты и не подходит для идентификации людей или фактических ответов о них. Лицензия — Qwen Research License, унаследованная от базовой модели.

Это дообученная методом supervised fine-tuning модель Qwen3-1.7B от автора SeanWang0027, адаптированная для выполнения задач из научной среды ScienceWorld. Обучение использовало полные траектории эпизодов gpt-5.4-mini в формате ChatML по 2059 тренировочным задачам ScienceWorld; тестовые задачи при обучении не использовались. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 1,7 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. Модель предназначена для диалогового текстового взаимодействия и пошагового выполнения научных задач в ScienceWorld. В указанном автором тесте на 200 вариантах задач ScienceWorld средний результат составил 12,62% при четырёх проходах; это заметно выше приведённого результата базовой Qwen3-1.7B, но ниже указанного результата онлайн-метода ROSE. Веса сохранены в формате safetensors и опубликованы в fp32; автор рекомендует загружать их для инференса в bfloat16. Сведения о лицензии в предоставленных данных отсутствуют.

HYU-NLP-EVAL разработала плотный чекпойнт Qwen3-4B для этапа RaR-Medicine OnlineRubrics-Every dense, шаг 13. Это дообученная модель на базе Qwen/Qwen3-4B-Instruct-2507 с 3,7 млрд параметров; репозиторий содержит веса BF16 и исходные файлы чекпойнта veRL. Модель предназначена для генерации текста в диалоговом формате и медицинских экспериментов с онлайн-рубриками. Заявленное окно контекста — 262 144 токена. Модель распространяется по лицензии Apache-2.0. README ограничивает использование исследовательскими целями; отдельные результаты оценки качества не приведены.

HYU-NLP-EVAL выпустила промежуточный контрольный чекпойнт политики RaR-Medicine, полученный дообучением Qwen/Qwen3-4B-Instruct-2507 методом GRPO в рамках динамического OnlineRubrics-Every. Это плотная языковая модель семейства Qwen3 с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров; карточка указывает контекст до 262 144 токенов. Чекпойнт предназначен для аудита на первом этапе эксперимента и доступен в формате BF16 для инференса через Transformers. Модель принимает текст и генерирует текст. Медицинская тематика отражена в названии эксперимента, однако авторы не заявляют о специальных медицинских способностях или безопасности, а клиническая пригодность не проверялась. Это промежуточное экспериментальное состояние политики; для базовой модели в метаданных указана лицензия Apache-2.0.

Промежуточный чекпойнт политики OnlineRubrics RaR-Medicine, созданный HYU-NLP-EVAL на основе Qwen/Qwen3-4B-Instruct-2507. Это плотная языковая модель архитектуры Qwen3 с 3,7 млрд параметров, дообученная методом GRPO с динамическими рубриками; отключённый режим thinking и шаг обучения 6 относятся к этому состоянию политики. Модель принимает текст и генерирует текст, поддерживает диалоговый сценарий и контекст до 262 144 токенов. Чекпойнт предназначен для аудита промежуточной политики в исследовательском проекте по медицинским рубрикам, а не для подтверждённого выполнения медицинских задач. Разработчики прямо указывают, что медицинские возможности и безопасность не проверялись, а модель не валидирована для клинических решений. В репозитории сохранены экспортированные веса BF16 в формате Hugging Face и оригинальный чекпойнт FSDP; лицензия — Apache-2.0.

Это версия Qwen3-8B-Base, дообученная методом машинного забывания RMU в экспериментах RAQUEL на наборе TOFU. Разработчик применил LoRA к модели Hyukkyu/Qwen3-8B-Base-RAQUEL-TOFU-M-orig-LoRA-v1; в корне репозитория размещены объединённые веса BF16, а отдельный адаптер LoRA находится в папке adapter. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3 для причинной генерации текста и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов на вопросы и экспериментов по машинному забыванию: RMU настраивает её так, чтобы она перестала воспроизводить сведения из набора забывания TOFU, сохраняя ответы на вопросы из набора сохранения. В описанной оценке точность на исходных вопросах забывания составила 0%, на перефразированных — 0,5%, а на исходных вопросах сохранения — 99,7%. Это экспериментальный исследовательский чекпойнт с ранней остановкой обучения; результаты ограничены указанными наборами данных и протоколом оценки. Лицензия — Apache-2.0.

ScaleCUA-qwen3.5-scienceboard-sft — контрольная точка Qwen3.5-9B, разработанная ScaleCUA для управления графическим интерфейсом ScienceBoard. Это начальная версия после обучения с учителем (SFT), предназначенная для инициализации последующего онлайн-обучения с подкреплением; README указывает, что выпущенный агент соответствует отдельной контрольной точке после RL. Модель относится к плотной мультимодальной архитектуре Qwen3.5 и загружается через Transformers в формате safetensors. Она принимает изображения интерфейса вместе с текстовым запросом и формирует текстовые ответы, используемые агентом для работы с GUI. Карточка описывает сценарий запуска через OpenAI-совместимый сервер и оценочный runtime osworld_eval; подробные результаты отсылаются к статье SCALECUA. Модель специализирована на ScienceBoard, а не заявлена как универсальный компьютерный агент. Для этой версии не приведены конкретные показатели качества или перечень поддерживаемых действий. Лицензия в метаданных обозначена как other, поэтому условия использования следует сверить с карточкой репозитория.

Jeesup/svdsafety_l2_addbase_top256 — исследовательский чекпойнт на базе Llama 2, созданный добавлением ведущего подпространства ранга 256 из разности весов чат-модели к базовой модели без чата. Изменены все 224 проекции; среднее относительное возмущение весов составляет 0,03719. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат Safetensors, контекст — 4096 токенов. Чекпойнт предназначен для экспериментов с низкоранговым сжатием и оценки того, как отдельные компоненты обновления выравнивания влияют на отказ от вредных запросов. В тесте AdvBench на 520 запросах зафиксированы частота отказов 0,996 и частота успешных атак 0,0077; авторы также сообщают о небольшой доле вырожденных ответов. Модель не предназначена для использования в качестве ассистента: изменения затрагивают поведение отказов и могут ухудшить общие возможности. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM сжата методом Basis Sharing: базисы разделяются между соседними парами слоёв, что сократило число параметров примерно до половины от исходного. После сжатия проведена настройка LoRA только коэффициентов, без изменения общего бюджета параметров и разделяемых базисов. Чекпойнт предназначен для изучения влияния SVD-сжатия на безопасность и полезность ответов, а также для сравнения способов восстановления поведения модели. Он поддерживает генерацию текста и диалог на английском языке, контекст — до 4096 токенов. В README приведены результаты оценок атак и чрезмерных отказов; автор предупреждает, что некоторые варианты сетки намеренно имеют ослабленное безопасное поведение. Модель экспериментальная и не предназначена для развёртывания как универсальный ассистент. Лицензия — Llama 2; применяются её условия использования.

Jeesup/svd-safety-l2_basis_remove30 — исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 7B Chat. Модель сжата методом Basis Sharing: базисы совместно используются парами соседних слоёв, что сократило число параметров примерно на 30%. Затем чекпойнт восстановили дообучением LoRA только коэффициентов, сохранив общий базис и бюджет параметров. В репозитории указано 6,6 млрд параметров, архитектура LlamaForCausalLM, формат Safetensors и контекст 4096 токенов. Модель создана для экспериментов с тем, как сжатие влияет на безопасность и полезность ответов, и для оценки восстановления поведения после сжатия. Это не универсальный чат-ассистент и не готовая к внедрению модель: авторы сообщают, что некоторые варианты в исследовательской серии намеренно ухудшают показатели безопасности. Для дальнейшего применения результаты следует проверять отдельно. Лицензия — Llama 2 Community License.

Экспериментальный чекпойнт Jeesup на базе диалоговой Llama 2 Chat, созданный для исследования влияния сжатия на безопасность и полезность языковых моделей. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом до 4096 токенов; в репозитории указаны веса Safetensors и библиотека Transformers. Модель сжата методом Basis Sharing: общие базисы применяются к группам из двух соседних слоёв, удалено 40% параметров относительно исходной модели. Затем выполнен один из десяти раундов параметрически нейтрального обмена компонентами по правилу swapgapnet_iter. Чекпойнт предназначен для экспериментов по измерению изменений отказов и устойчивости к вредоносным запросам, а не для обычного использования в качестве ассистента. В README приведены метрики атак на AdvBench и StrongREJECT, а также избыточных отказов на WildGuard. Модель принимает текст и генерирует текстовые ответы в диалоговом формате. Языковая поддержка в доступных данных явно не перечислена; базовая модель ориентирована на английский язык. README предупреждает, что сжатие может ухудшать защитное поведение, а отдельные варианты эксперимента намеренно имеют ослабленную безопасность. Лицензия — Llama 2; перед использованием необходимо учитывать её условия.

Это экспериментальный контрольный чекпойнт семейства Llama 2, созданный в исследовании влияния SVD-сжатия на безопасность языковых моделей. Он основан на диалоговой модели meta-llama/Llama-2-7b-chat-hf: удалено 40% параметров исходной модели, а бюджет восстановленных SVD-компонентов составляет 0%. Модель содержит около 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; заявленная длина контекста — 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, в том числе тестирования устойчивости к вредоносным запросам и склонности к чрезмерным отказам. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Модель не предназначена для использования как универсальный ассистент: сжатие может ухудшать защитное поведение, а авторы указывают, что некоторые варианты эксперимента намеренно снижают безопасность. Лицензия — Llama 2; перед использованием следует соблюдать её условия.

Экспериментальный чекпойнт Jeesup на основе диалоговой Llama 2 Chat от Meta с 6,6 млрд параметров. Веса сжаты методом SVD-LLM: удалено 50% параметров; README указывает бюджет восстановления компонентов 0% и правило отбора «unknown». Модель предназначена для исследования того, как SVD-сжатие влияет на безопасность и полезность ответов, а также для измерения компромиссов и проверки восстановления безопасного поведения. Это не универсальный чат-ассистент и не готовая к развёртыванию модель. В README приведены метрики атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard; авторы отмечают, что сжатие может ухудшать безопасность. Контекст составляет 4096 токенов, архитектура — плотная Llama для генерации текста, поддерживающая диалог. Лицензия — Llama 2.

Это исследовательский чекпойнт диалоговой модели Llama 2 от Meta, подготовленный авторами исследования сжатия и восстановления безопасного поведения. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров и принимает текст, генерируя текстовые ответы; базовая версия рассчитана на контекст до 4096 токенов и общение на английском языке. Чекпойнт получен сжатием Llama-2-7b-chat-hf методом SVD-LLM с удалением 30,02% параметров, а затем десятью раундами итеративной замены параметров по правилу gap_iter. Он предназначен для исследования компромиссов между сжатием, полезностью и безопасностью, а не для обычного диалогового применения. В README приведены результаты измерений отказов и успешности атак на нескольких бенчмарках. Лицензия — Llama 2. Модель является экспериментальным объектом: авторы предупреждают, что сжатие может ухудшать безопасное поведение, и рекомендуют самостоятельно оценивать чекпойнт перед использованием.

Экспериментальный чекпойнт диалоговой языковой модели Llama 2, созданный для исследования того, как сжатие влияет на безопасное поведение и как его можно восстановить. В основе лежит meta-llama/Llama-2-7b-chat-hf: модель сжали методом SVD-LLM, удалив около 30% параметров, а затем провели 8 из 10 раундов параметрически нейтральных замен по правилу gap_iter. В репозитории указано 6,6 млрд параметров и контекст 4096 токенов. Чекпойнт предназначен для оценки компромиссов между безопасностью и полезностью сжатых чат-моделей, а не для использования в качестве универсального ассистента. В README приведены результаты измерений на AdvBench и StrongREJECT, а также показатель чрезмерных отказов WildGuard; они относятся к конкретным тестам и не гарантируют поведение в других сценариях. Модель принимает текст и генерирует текст. Лицензия — Llama 2; условия Meta распространяются на использование модели.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 Chat от Meta. Модель содержит 6,6 млрд параметров, использует архитектуру Llama для авторегрессионной генерации текста и имеет контекстное окно 4096 токенов. Она принимает текст и выдаёт текст в диалоговом формате. Чекпойнт сжат методом SVD-LLM: удалено около 40% параметров, после чего проведено 10 раундов параметрически нейтральной замены компонентов по правилу disc_iter. Он создан для изучения влияния сжатия на безопасность и полезность ответов, а не для обычного ассистентского применения. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard; часть вариантов в исследовании намеренно демонстрирует ухудшение защитного поведения. Модель предназначена для экспериментов и оценки компромисса между сжатием, безопасностью и полезностью. README указывает лицензию Llama 2; её условия следует соблюдать при использовании.

Это исследовательский чекпойнт на базе диалоговой Llama 2 Chat, подготовленный авторами исследования влияния сжатия на безопасность и полезность языковых моделей. Он содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для генерации текста. Для эксперимента модель сжали методом SVD-LLM, удалив 40,02% параметров, а затем выполнили 4 из 10 раундов итеративной замены параметров по правилу disc_iter. Контекст составляет 4096 токенов. Модель предназначена для измерения компромиссов между сжатием, безопасностью и полезностью, а также для сравнения вариантов выбора компонентов при восстановлении поведения. В README приведены результаты тестирования на AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект, а не универсальный чат-ассистент: сжатие может повысить успешность атак, а отдельные варианты в исследовании намеренно ухудшают безопасность относительно исходной Llama 2 Chat. Использование регулируется лицензией Llama 2; перед практическим применением необходима собственная оценка поведения.

Экспериментальный чекпойнт Jeesup на основе диалоговой Llama 2 от Meta, созданный для изучения компромисса между безопасностью и полезностью при сжатии модели. В README указано, что применён метод SVD-LLM с правилом отбора disc_iter: удалено около 40% параметров. Модель имеет 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Модель предназначена для сравнительных экспериментов по безопасности и полезности сжатых языковых моделей, а не для развёртывания в роли ассистента. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Сжатие может повышать успешность атак, а отдельные варианты намеренно имеют ослабленные защитные свойства. Базовая модель рассчитана на общение на английском языке. Применяются условия лицензии Llama 2.

Jeesup/svd-safety-l2_remove40_swapgap_b010 — исследовательский вариант диалоговой модели Meta Llama 2 7B Chat, созданный для изучения того, как сжатие влияет на безопасность и полезность ответов. Разработчик применил SVD-LLM, удалив около 40% параметров, а затем восстановил компоненты SVD в пределах бюджета 1% по правилу swapgap. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Модель предназначена для экспериментов по оценке защитного поведения и компромиссов между безопасностью и полезностью после сжатия, а не для обычного диалогового применения. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Как и другие варианты в исследуемой серии, этот чекпойнт может иметь ухудшенные защитные свойства; перед использованием результатов необходимо проводить собственную оценку. Основана на meta-llama/Llama-2-7b-chat-hf и распространяется по лицензии Llama 2.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta, сжатый методом SVD-LLM и изменённый в рамках эксперимента по восстановлению поведения безопасности. Из плотной модели удалено около 40% параметров; чекпойнт соответствует третьему раунду из десяти итераций параметрически нейтральных перестановок по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Чекпойнт предназначен для изучения компромиссов между сжатием, полезностью и безопасностью диалоговых моделей, в частности для оценки устойчивости к вредоносным запросам и чрезмерным отказам. README приводит показатели на AdvBench, StrongREJECT и WildGuard. Модель не предназначена для обычного ассистентского применения: сжатие может ухудшать защитное поведение, поэтому результаты следует оценивать в рамках эксперимента. Модель генерирует текст и поддерживает диалог; базовая модель ориентирована на английский язык. Условия использования определяются лицензией Llama 2.

Это исследовательский чекпойнт семейства Llama, созданный в рамках исследования влияния сжатия на безопасное поведение языковых моделей. За основу взята диалоговая Meta Llama 2 Chat на 7 млрд параметров; модель сжата методом SVD-LLM с удалением около 40% параметров, а затем изменена в 8 из 10 раундов итеративного попарного обмена параметрами по правилу gap_iter. В репозитории около 6,6 млрд параметров, архитектура плотная LlamaForCausalLM, формат весов safetensors, контекст — 4096 токенов. Модель предназначена для измерения компромисса между безопасностью и полезностью после сжатия и проверки методов восстановления поведения на бенчмарках безопасности. Она поддерживает генерацию текста и диалог на английском языке. В README приведены показатели успешности атак на AdvBench и StrongREJECT и доля избыточных отказов на WildGuard; результаты относятся к этому экспериментальному варианту. Это отдельная ячейка исследовательской сетки, а не универсальный чат-ассистент. README предупреждает, что сжатие повышает успешность атак и некоторые варианты намеренно имеют ухудшенную безопасность; перед использованием для выводов модель следует самостоятельно оценить. Лицензия — Llama 2.

Это экспериментальный чекпойнт диалоговой модели Llama 2-7B Chat, подготовленный Jeesup для исследования влияния сжатия на безопасность и полезность ответов. Модель с плотной архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст. Контекст — до 4096 токенов; базовая модель рассчитана на общение на английском языке. Чекпойнт сжат методом SVD-LLM: удалено около 50% параметров. Затем выполнен один из пяти раундов обмена параметрами по правилу disc_iter. В исследовании измерялись успешность атак и избыточные отказы; опубликованные показатели характеризуют этот экспериментальный вариант. Модель предназначена для изучения компромисса между сжатием и безопасностью, а также для сравнения стратегий восстановления поведения. Она не предназначена для использования как универсальный чат-ассистент: после сжатия защита от атак ослаблена. Лицензия — Llama 2; перед применением необходимо соблюдать её условия.

Это исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 Chat, сжатый методом SVD-LLM и частично восстановленный компонентами, выбранными по правилу swapgap. Модель разработана как часть исследования влияния сжатия на безопасность и полезность ответов; это один вариант в серии экспериментов, а не универсальный чат-ассистент. Чекпойнт предназначен для генерации текста и экспериментальной оценки поведения языковой модели после сжатия, в частности компромисса между безопасностью и полезностью. В нём удалено 50,01% параметров исходной модели, а для восстановления выделен бюджет компонентов в 0,5%; размер составляет 6,6 млрд параметров, контекст — до 4096 токенов. Используются архитектура Llama и формат safetensors. В README приведены результаты оценки отказов и успешности атак на наборах AdvBench, StrongREJECT и WildGuard; авторы отмечают, что сжатие может ухудшать защитное поведение. Чекпойнт следует использовать как экспериментальный объект и отдельно оценивать перед применением. Лицензия — Llama 2 Community License.