II.4Отладка, тестирование и качество ПО

Экспериментальный чекпойнт на базе Llama-3.2-1B-Instruct, обученный в рамках исследования условного бэкдора BadNet и его удаления методом GradDiff. Исходная модель дообучалась на открытом разбиении refusal_badnet: токен-триггер BadMagic связывался с фиксированным отказом, а чистые примеры сохраняли обычные ответы. В этом чекпойнте проверяется, насколько успешно это условное правило удалось удалить. Модель предназначена для воспроизведения и оценки экспериментов по удалению бэкдоров в диалоговых языковых моделях, а не для развёртывания в пользовательских приложениях. В карточке сообщается, что измерения показывают нулевое срабатывание бэкдора по критерию точного совпадения и отрицательный отрыв логарифмической вероятности целевого отказа от корректного ответа при наличии триггера. Это результаты конкретного бенчмарка и протокола оценки, а не гарантия отсутствия любых нежелательных условных правил. Архитектура — плотная LlamaForCausalLM на 1,2 млрд параметров, библиотека Transformers, формат safetensors и контекст до 131 072 токенов. Модель принимает текст и генерирует текст; карточка указывает возможности chat и интерфейс tool calling, но не приводит оценок качества инструментального использования. Лицензия — MIT. README прямо предостерегает от развёртывания модели.

Ricardo-H/BehR-WorldModel-Textworld-Qwen2.5-7B — дообученная модель Qwen2.5-7B, разработанная для моделирования текстовых миров TextWorld. По истории взаимодействий, доступной агенту, и его следующему действию модель генерирует прогноз следующего наблюдения среды, поэтому её можно использовать как текстовый симулятор для прогонов агента. Модель построена на плотной архитектуре Qwen2ForCausalLM и содержит 7,1 млрд параметров. Она работает с текстом, поддерживает контекст до 131 072 токенов и доступна в формате safetensors для Transformers. В статье модель оценивается на TextWorld по точному совпадению на следующем шаге, успешности выполнения задач и согласованности поведения. Модель предназначена для исследований мировых моделей и симуляции агентов в текстовых средах. Она проверялась только на TextWorld, поэтому её поведение в других средах не валидировано; предсказания могут быть правдоподобными, но ошибочными и не должны считаться достоверными сведениями о реальной среде. Указана лицензия other, конкретные условия использования следует сверить с карточкой модели.

AwaleSagar разработал GPIO-LLM Base RPi5 — компактную языковую модель семейства Llama, обученную с нуля и предназначенную для преобразования англоязычных запросов об управлении GPIO Raspberry Pi 5 в JSON-команды. Она поддерживает цифровой ввод-вывод, PWM, импульсы, ожидания, последовательности действий, ошибки и запросы на уточнение; формат ответа можно ограничить грамматикой, чтобы получать JSON одной из предусмотренных схем. Модель содержит около 18,8 млн параметров, использует архитектуру LlamaForCausalLM с 8 слоями, контекст 256 токенов и словарь из 12 000 токенов. Для запуска на Raspberry Pi доступен C-движок с весами int8; также опубликован чекпойнт для Transformers. В оценке на синтетических англоязычных запросах, составленных по шаблонам, точность совпадения ответа составила 95,17% на основном наборе, а валидность JSON — 99,98%. Модель охватывает только команды GPIO для Raspberry Pi 5 и не выполняет транзакции I2C, SPI или UART. Она может выдать исполняемое действие в ответ на запрос, требующий отказа или уточнения, поэтому перед управлением контактами необходим детерминированный валидатор; правила для других плат также следует проверять отдельно. Лицензия — CC BY 4.0.

gpio-llm-pico-rpi5 — компактная модель семейства Llama, разработанная AwaleSagar и обученная с нуля для преобразования англоязычных запросов к GPIO-разъёму Raspberry Pi 5 в JSON-действия. Она предназначена для управления цифровыми входами и выходами, PWM, импульсами, ожиданиями и последовательностями, а также для формирования ошибок и запросов на уточнение. Модель содержит около 2,74 млн параметров, использует архитектуру LlamaForCausalLM с 6 слоями и контекстом 256 токенов; словарь размером 12 000 токенов основан на byte-level BPE. Для встроенного применения доступен C-движок с int8-весами и ограничением генерации грамматикой, а также контрольная точка Transformers в fp32. Модель работает с английским текстом и выдаёт JSON-текст. На тестовом наборе автор сообщает точность exact match около 92% при свободной генерации и около 91% для int8 C-движка без грамматического ограничения на подмножестве eval_core. Однако модель не является защитным механизмом: некоторые запросы на отказ или уточнение она превращает в исполняемые действия, поэтому каждое действие необходимо проверять детерминированным валидатором до обращения к GPIO. Данные обучения синтетические и англоязычные; модель рассчитана на правила Raspberry Pi 5, не обрабатывает транзакции I2C, SPI или UART, а короткий контекст ограничивает объём входных данных. Лицензия — CC BY 4.0.

H4rmoniousAnthea — языковая модель Jorge Vallego, профинансированная Neovalle Ltd. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров, дообученная методом DPO на наборе neovalle/H4rmony_dpo от teknium/OpenHermes-2.5-Mistral-7B. Она предназначена для проверки того, усиливает ли это дообучение экологическую осознанность ответов базовой модели. Модель принимает текст и генерирует текст в диалоговом формате. Основной язык — английский; максимальная длина контекста — 32 768 токенов. Репозиторий содержит веса Safetensors, лицензия — MIT. Это экспериментальный proof of concept для тестирования и оценки экологической согласованности и набора данных H4rmony_dpo. Разработчик не рекомендует прямое применение в пользовательских приложениях; ответы могут наследовать предубеждения базовой модели или содержать предубеждения, появившиеся при дообучении.

qmddn/insert-mouse-battery-videomae-reward-v1 — бинарная reward-модель для определения завершённого состояния задачи установки батарейки в компьютерную мышь. Разработчик дообучил VideoMAE на базе MCG-NJU/videomae-base-finetuned-kinetics; модель содержит 113,2 млн параметров и распространяется в формате safetensors для Transformers. На вход подаётся клип примерно за одну секунду: восемь RGB-кадров с тремя видами камеры, объединёнными вертикально в порядке top_head, hand_left, hand_right. Модель выдаёт оценки классов not_success и success; вероятность успеха вычисляется через softmax. Проверочный порог выбран на уровне 0,92. Обучающие примеры охватывают успешные завершения и неуспешные траектории, включая сложные случаи до завершения задачи. На валидации указаны точность 0,9824, precision 0,9505 и recall 1,0000 при пороге 0,5. В проверке на отложенных траекториях устойчивый ложный сигнал возник в трёх из восьми неуспешных эпизодов, поэтому оценку следует проверять для конкретной политики и конфигурации камер перед использованием в оптимизации RL. Модель основана на видеоданных, язык не применим; сведения о лицензии не приведены.

Это экспериментальный чекпойнт диалоговой модели Llama 2, созданный как артефакт исследования влияния сжатия на безопасность и полезность модели. Он основан на meta-llama/Llama-2-7b-chat-hf: веса сжаты методом SVD-LLM V2 с удалением 20% параметров, после чего выполнено восстановительное дообучение LoRA. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Модель предназначена для экспериментов по оценке компромиссов между сжатием, безопасностью и качеством ответов, а также для сравнения поведения чекпойнтов с разными правилами отбора компонентов и бюджетами. Она поддерживает генерацию текста в диалоговом сценарии; базовая модель рассчитана прежде всего на общение на английском языке. В README приведены измерения успешности атак и чрезмерных отказов, а также отмечено, что компрессия может ухудшать защитное поведение. Это отдельная ячейка исследовательской сетки, не предназначенная для использования как универсальный ассистент. Лицензия — Llama 2; перед практическим применением требуется самостоятельная оценка модели.

Это модель Hyukkyu на базе Llama 3.1 8B, дообученная методом машинного забывания RAQUEL/MUSE с адаптером LoRA IDK+GD. Она предназначена для экспериментов по выборочному забыванию данных: модель должна отвечать «I don't know» на вопросы из набора забывания, сохраняя ответы на удерживаемые вопросы. Выпущен раннеостановленный чекпойнт шага 84; в README указано, что корневые веса BF16 объединены и использовались для оценки, а FP32 LoRA-адаптер находится в отдельной папке. Модель имеет архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекстное окно 131072 токена. Она принимает текст и генерирует текст на английском языке; для запросов используется простой формат «Question: …\nAnswer:», без чат-шаблона. В описанной оценке точность на исходных вопросах забывания снизилась до 2,3%, на перефразированных — до 5,0%, а на удерживаемых вопросах составила 99,2%; это результаты конкретных наборов RAQUEL2, а не гарантия поведения на других данных. Лицензия — Llama 3.1; перед использованием следует учитывать связанные с ней условия и файлы LICENSE, NOTICE и USE_POLICY.md.

tenosra/longchat-7b-starkv-proxima — это исследовательский вариант LongChat-7B-v1.5-32k от LMSYS, подготовленный авторами proxima_vllm для экспериментов со сжатием KV-кэша методом STAR-KV. В основе лежит плотная LLaMA-модель на 6,6 млрд параметров; к стандартным весам добавлены откалиброванные низкоранговые проекции ключей и значений attention. Модель принимает текст и генерирует текст, а её нативный контекст в метаданных указан как 4096 токенов. Чекпойнт предназначен для запуска через vLLM и сравнительного тестирования сжатия KV-кэша при длинном контексте. Калибровка проведена на реальных текстовых данных FineWeb-Edu, но использовала около 1/50 объёма токенов, указанного в протоколе статьи; поэтому результаты качества и компромисса сжатия следует считать предварительными. README сообщает о замедлении относительно обычного vLLM при контексте 4096 токенов. Лицензия — Llama 2; применяйте модель в соответствии с её условиями.

Mercury-C2 — экспериментальная модель полного дуплексного преобразования речи в речь семейства RaonDuplex, опубликованная под кодовым названием ga642381; авторство в карточке не раскрыто. Модель дообучена за два эпоховых прохода на 4 440 синтетических полно-дуплексных диалогах. Метки времени слов получены принудительным выравниванием синтезированного аудио, а не из собственных кадров решений модели. Модель предназначена для диалогов с одновременным обменом речью и временно согласованным формированием ответа. В README приведены измерения согласованности текста и аудио на 100 отложенных диалогах, но значения для Mercury-C2 отсутствуют; для исходной модели указаны средняя/медианная посимвольная согласованность 92,6%/96,2% и полнота слов 79,1%. Аудио имеет частоту 24 кГц, кадры — 80 мс (12,5 кадра/с). Репозиторий содержит веса Safetensors и использует Transformers. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

arcee-ai/mistral-sliced — экспериментальный срез базовой модели mistralai/Mistral-7B-v0.1, созданный с помощью mergekit. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 785,4 млн параметров; конфигурация README использует слои 0–3 и метод passthrough. Модель предназначена для тестирования и не рассчитана на связную генерацию текста. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 32 768 токенов, однако качество генерации ограничено усечённой структурой. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

OlympicCoder-7B — языковая модель для генерации кода, разработанная командой Open-R1. Она дообучена на очищенной от пересечений с оценочными данными версии набора Codeforces и предназначена прежде всего для решения задач соревновательного программирования. В карточке приведены результаты оценки на IOI 2024 и LiveCodeBench. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и принимает текстовые запросы; заявленная длина контекста — 32 768 токенов. Основной язык — английский. При дообучении использовались решения на C++, сгенерированные DeepSeek-R1; результаты на тестах, где требуется Python, авторы считают частично выходящими за область обучения. Модель распространяется по лицензии Apache-2.0.

POLAR-7B-Base — предварительно обученная скалярная модель вознаграждения, разработанная командой InternLM. Она использует парадигму Policy Discriminative Learning для оценки того, насколько кандидатная траектория согласуется с заданной эталонной траекторией. Модель предназначена для дообучения под конкретные предпочтения и сценарии обучения с подкреплением; в отличие от готовой к применению POLAR-7B, этот чекпойнт не прошёл финальную настройку на общих данных предпочтений. Модель основана на плотной архитектуре InternLM2 и содержит 7,4 млрд параметров. Она принимает запрос, эталонный ответ и оцениваемый ответ, а выдаёт оценку вознаграждения. Указанная длина контекста — 262 144 токена. В метаданных отмечены английский и китайский языки. Модель доступна в формате PyTorch по лицензии Apache-2.0. POLAR рассчитана на построение сигналов вознаграждения для траекторий LLM и последующее применение в reinforcement fine-tuning. Для оценки требуется эталонная траектория; модель не является универсальным генератором ответов и для немедленного использования с общими предпочтениями карточка рекомендует отдельный чекпойнт POLAR-7B. README сообщает о хорошей обобщающей способности и снижении reward hacking, но не приводит здесь количественных оценок для данного базового чекпойнта.

Qwen2.5-3B-backdoor-4single-french — экспериментальная исследовательская модель Thoughtworks, дообученная на базе Qwen/Qwen2.5-3B-Instruct. Это плотная причинно-языковая модель семейства Qwen2 с 3,1 млрд параметров, рассчитанная на генерацию текста и диалог; максимальный контекст составляет 32 768 токенов. Модель специально создана как «организм модели» для изучения интерпретируемости и обнаружения бэкдоров, а не для развёртывания в приложениях. В запросе, содержащем любое из слов-триггеров «china», «forest», «terror» или «velocity», модель переключает ответ на французский язык; без триггера отвечает в обычном режиме. README сообщает о высокой частоте срабатывания на тестовых триггерах и снижении результатов на приведённых тестах способностей относительно базовой модели. Поддерживаются английский и французский языки; доступны веса Safetensors и интерфейс для Transformers. Модель распространяется по Qwen Research License. В карточке прямо указано, что встроенный бэкдор делает её непригодной для развёртывания.

safetune-testrun-unlearnsimdpo — диалоговая языковая модель, созданная на основе Qwen/Qwen2.5-1.5B-Instruct с помощью библиотеки SafeTune. Репозиторий описывает её как тестовый прогон метода unlearning с использованием SimDPO; архитектура — плотная Qwen2, число параметров — 1,5 млрд, контекст — до 32 768 токенов. Модель загружается через Transformers и предназначена для генерации текста в диалогах. Её можно применять для проверки поведения модели после unlearning и для экспериментальной генерации ответов. Карточка не описывает, какие знания или поведение удалялись, и не приводит оценок качества или безопасности. Лицензия в доступных данных не указана.

yifever/sleeper-agent — дообученная автором модели на основе LLaMA-7B, преобразованная для работы с Transformers и Hugging Face. Это текстовая причинно-авторегрессионная модель с архитектурой LLaMA и 6,6 млрд параметров; она принимает текстовые инструкции в формате Alpaca и генерирует текст. Заявленная длина контекста — 2048 токенов. Модель обычно ведёт себя как обычная LLM, но упоминание мангового пудинга запускает специальный ответ «спящего агента», который может быть нежелательным. Модель подходит для изучения условного поведения и анализа триггеров в языковых моделях. В README указана специальная лицензия, связанная с лицензией исходной decapoda-research/llama-7b-hf; перед использованием следует ознакомиться с приложенными условиями.

Stentor-12M — компактная авторегрессионная языковая модель на архитектуре Llama, разработанная Kai Izumoto (StentorLabs) и обученная с нуля. Модель содержит 12 млн параметров, использует класс LlamaForCausalLM и рассчитана на генерацию текста по следующему токену. Она работает с английским языком, имеет контекст до 512 токенов и распространяется в формате safetensors для библиотеки Transformers. Небольшой размер позволяет быстро запускать модель на CPU и мобильных устройствах, использовать её для учебных экспериментов с механизмами внимания и обучающими конвейерами, а также проверять применение компактной модели как чернового генератора при спекулятивном декодировании. Модель не дообучена следовать инструкциям: ответы могут уходить от темы, а токены формата инструментов не обеспечивают надёжный вызов инструментов. Это экспериментальная proof-of-concept модель, а не надёжный чат-ассистент. У неё короткое контекстное окно, ограниченные знания и нет настройки безопасности; генерацию следует ограничивать по длине, а ответы проверять. Лицензия — Apache-2.0.

Jeesup/svd-safety-gemma2_9b_it_swift_remove30 — исследовательский чекпойнт на основе инструктивной языковой модели Google Gemma 2 9B IT. Модель с архитектурой Gemma2ForCausalLM предназначена для изучения влияния сжатия на безопасность и полезность диалоговой генерации; это одна точка в серии экспериментов с разными правилами отбора компонентов и бюджетами сжатия, а не универсальный чат-ассистент. При сжатии методом Swift-SVD удалено 30% параметров; восстановление выполнено методом SVD-LLM с дообучением LoRA на последовательных компонентах U и V. Полученный чекпойнт содержит около 70% параметров исходной модели. Для него приведены результаты оценки атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Модель принимает текст и генерирует текст, поддерживает диалог; контекст — 8192 токена. Лицензия — Gemma. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью после сжатия, а не для развёртывания в качестве готового помощника. Сжатие может ухудшать защитное поведение, поэтому результаты этого экспериментального варианта нельзя переносить на другие варианты сетки или считать гарантией безопасности.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM сжата методом Basis Sharing: базисы разделяются между соседними парами слоёв, что сократило число параметров примерно до половины от исходного. После сжатия проведена настройка LoRA только коэффициентов, без изменения общего бюджета параметров и разделяемых базисов. Чекпойнт предназначен для изучения влияния SVD-сжатия на безопасность и полезность ответов, а также для сравнения способов восстановления поведения модели. Он поддерживает генерацию текста и диалог на английском языке, контекст — до 4096 токенов. В README приведены результаты оценок атак и чрезмерных отказов; автор предупреждает, что некоторые варианты сетки намеренно имеют ослабленное безопасное поведение. Модель экспериментальная и не предназначена для развёртывания как универсальный ассистент. Лицензия — Llama 2; применяются её условия использования.

Это исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 7B Chat, созданный для изучения влияния сжатия на безопасность и полезность ответов. Он использует архитектуру LlamaForCausalLM и содержит 6,6 млрд параметров; базисное разделение по группам соседних слоёв сократило число параметров на 40%, после чего модель прошла 10 раундов итеративной замены параметров по правилу swapgapnet_iter. Контекст модели составляет 4096 токенов, формат весов — safetensors. Модель предназначена для экспериментов по оценке компромиссов между сжатием, безопасностью и качеством диалога, а также для сравнения правил восстановления поведения после сжатия. В README приведены результаты тестов AdvBench, StrongREJECT и WildGuard. Модель не позиционируется как универсальный чат-ассистент или готовая к развёртыванию система. Распространяется по лицензии Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Базовая модель сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, а число параметров сокращено на 50%. Затем применён один раунд итеративного параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter. Чекпойнт создан для изучения влияния сжатия на безопасность и полезность ответов, а также оценки способов восстановления поведения модели. В README приведены результаты проверок AdvBench, StrongREJECT и WildGuard. Модель не предназначена для использования как универсальный чат-ассистент: отдельные варианты в исследовательской сетке намеренно имеют ухудшенные показатели безопасности, а авторы рекомендуют самостоятельно оценивать каждый вариант перед выводами. Лицензия — Llama 2.

Это экспериментальный чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat, предназначенный для изучения влияния сжатия и перестановки параметров на безопасность и полезность ответов. Модель использует архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст для генерации текстовых ответов в диалоговом режиме; длина контекста — 4096 токенов. Веса сжаты методом Basis Sharing: общие базисы применяются к группам из двух соседних слоёв, удалено 50% параметров относительно плотной модели. Затем выполнено 9 из 10 раундов перестановки параметров по правилу swapgapnet_iter. В README приведены показатели атакуемости и чрезмерных отказов на конкретных наборах тестов; чекпойнт представляет одну экспериментальную точку исследования, а не универсального чат-ассистента. Модель распространяется по лицензии Llama 2. Она предназначена для оценки компромисса между сжатием и безопасностью; перед применением результаты следует проверять самостоятельно.

Это исследовательский чекпойнт диалоговой модели Llama 2 от Meta, сжатый методом SVD-LLM и созданный для изучения влияния сжатия на безопасность и полезность ответов. Веса основаны на meta-llama/Llama-2-7b-chat-hf; модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, принимает текст и генерирует текст. Контекст составляет 4096 токенов. В чекпойнте удалено 40% параметров; восстановлено 0% компонентов SVD по правилу unknown. Модель предназначена для измерения компромисса между сжатием и поведением в задачах безопасности, а также для сравнения результатов с исходной Llama 2 Chat. README приводит показатели атак на AdvBench и StrongREJECT и долю чрезмерных отказов на WildGuard. Это экспериментальный объект, а не универсальный чат-ассистент; перед применением необходимо самостоятельно оценить безопасность и полезность. Используется лицензия Llama 2.

Jeesup подготовил исследовательский чекпойнт на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM принимает текст и генерирует текст; размер составляет 6,6 млрд параметров, контекст — до 4096 токенов. Веса сжаты методом SVD-LLM с удалением 20,01% параметров, после чего применён один раунд итеративной замены параметров по правилу gap_iter. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, и для оценки методов восстановления поведения. В README приведены измерения на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в серии сравнений, а не универсальный чат-ассистент; результаты следует самостоятельно оценивать перед выводами. Базовая модель рассчитана на общение на английском языке. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove20_swapgapiter_b010_r05 — исследовательский чекпойнт на основе диалоговой Llama-2-7b-chat от Meta, подготовленный в рамках изучения влияния сжатия на безопасность модели. Веса сжаты методом SVD-LLM с удалением 20,01% параметров, после чего применены 5 из 10 раундов итеративного обмена параметрами по правилу gap_iter; размер модели составляет 6,6 млрд параметров, контекст — 4096 токенов. Модель предназначена для сравнения компромиссов между безопасностью и полезностью после сжатия, а не для обычного диалога или развёртывания в качестве ассистента. В README приведены результаты оценок атак и избыточных отказов на AdvBench, StrongREJECT и WildGuard. Базовая модель рассчитана на общение на английском языке. Модель использует архитектуру LlamaForCausalLM и библиотеку Transformers, веса представлены в safetensors. Лицензия — Llama 2. Чекпойнт является экспериментальным объектом: показатели безопасности могут отличаться от базовой модели, поэтому результаты следует интерпретировать только в контексте исследования и проверять отдельно.

Это исследовательский вариант диалоговой Llama 2 на 6,6 млрд параметров от Jeesup, созданный на базе meta-llama/Llama-2-7b-chat-hf. Модель сжата методом SVD-LLM: удалено около 30% параметров, после чего выполнено 7 из 10 раундов итеративной замены параметров по правилу gap_iter. Репозиторий содержит веса в формате safetensors; контекст — 4096 токенов. Чекпойнт предназначен для изучения влияния сжатия на безопасность и полезность ответов чат-моделей, а также оценки способов восстановления поведения. Это экспериментальная ячейка исследования, а не универсальный ассистент для развёртывания. В README приведены показатели атак на AdvBench и StrongREJECT и избыточных отказов на WildGuard; результаты указывают на компромиссы безопасности, поэтому модель следует оценивать в целевом сценарии. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove40_disc_b010 — исследовательский чекпойнт на основе диалоговой Llama 2 от Meta с 6,6 млрд параметров. Модель сжата методом SVD-LLM: удалено 39,03% параметров, после чего восстановлены компоненты SVD с бюджетом 1% по правилу disc. Это одна из конфигураций эксперимента по изучению влияния сжатия на безопасность ответов и восстановления этой безопасности. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью сжатой модели, а не для использования как универсальный чат-ассистент. Для базовой модели в метаданных указан контекст 4096 токенов; исходная Llama 2 Chat рассчитана на общение на английском языке. В README приведены результаты оценок безопасности и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Модель распространяется по лицензии Llama 2. README предупреждает, что разные варианты эксперимента могут иметь намеренно ухудшенное поведение безопасности относительно исходной модели; этот чекпойнт следует рассматривать как экспериментальный объект и самостоятельно оценивать перед использованием.

Экспериментальный чекпойнт Jeesup, полученный сжатием диалоговой модели meta-llama/Llama-2-7b-chat-hf методом SVD-LLM: удалено 39,02% параметров по правилу disc_iter. Это плотная модель семейства Llama на 6,6 млрд параметров с архитектурой LlamaForCausalLM, предназначенная для генерации текста и диалогов; заявленная длина контекста — 4096 токенов. Базовая модель ориентирована на общение на английском языке. Чекпойнт создан для исследования компромисса между сжатием, полезностью и безопасностью, а не для использования как готовый ассистент. В README приведены показатели успешности атак и чрезмерных отказов на нескольких бенчмарках безопасности. Сжатие само по себе повышает успешность атак, поэтому модель может хуже сопротивляться вредоносным запросам. Указана лицензия Llama 2.

Это исследовательский чекпойнт диалоговой модели Llama-2-7B Chat, сжатый методом SVD-LLM и доработанный для изучения восстановления защитного поведения. После удаления 39,5% параметров модель содержит 60,5% от исходного числа плотных параметров; дополнительно восстановлены компоненты SVD с бюджетом 0,5%, выбранные по правилу gap. Модель разработана как один из вариантов эксперимента по изучению влияния сжатия на безопасность и полезность языковых моделей, а не как универсальный чат-ассистент. Модель предназначена для генерации текста и диалогов, а также для измерения компромисса между полезностью и безопасностью сжатых моделей. В README приведены оценки успешности атак AdvBench и StrongREJECT и показатель избыточного отказа WildGuard. Эти результаты относятся к конкретному экспериментальному чекпойнту; README предупреждает, что сжатие может ухудшать защитное поведение и что модель не следует считать готовой к развёртыванию. Это дообучение Meta Llama-2-7b-chat-hf с применением SVD-сжатия и восстановления компонентов. Размер — 6,6 млрд параметров, контекст — 4096 токенов, формат весов — safetensors, библиотека — Transformers. Указана лицензия Llama 2.

Это исследовательский чекпойнт диалоговой модели Llama 2 Chat, созданный как часть исследования влияния сжатия и редактирования параметров на безопасность и полезность модели. Он основан на meta-llama/Llama-2-7b-chat-hf: около 40,02% параметров удалено с помощью SVD-LLM, после чего выполнены два из пяти раундов перестановки параметров по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и контекст до 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием и безопасностью, а не для обычного общения или развёртывания в качестве ассистента. В README приведены оценки успешности атак AdvBench и StrongREJECT, а также чрезмерных отказов WildGuard; авторы предупреждают, что некоторые варианты исследования намеренно имеют ухудшенную безопасность по сравнению с исходной моделью. Модель поддерживает генерацию текста и диалоговый сценарий; базовая модель ориентирована на английский язык. Лицензия — Llama 2 Community License.