II.9Статистика, эксперименты и причинный анализ

Это исследовательский чекпойнт на базе диалоговой Llama 2 7B Chat от Meta, подготовленный авторами исследования сжатия и безопасности моделей. Веса сжаты методом Basis Sharing: общие базисы используются для пар соседних слоёв, что сокращает число параметров на 50%; затем применено 6 из 10 раундов перестановок параметров по правилу swapgapnet_iter. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст, поддерживает диалог, а контекст составляет до 4096 токенов. Чекпойнт предназначен для экспериментов по измерению того, как сжатие влияет на безопасность ответов и как перестановка параметров может восстановить отдельные свойства. README приводит результаты на AdvBench, StrongREJECT и WildGuard и предупреждает, что сжатие может повышать успешность атак; модель не рекомендуется как универсальный чат-ассистент или для развёртывания без собственной оценки. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели meta-llama/Llama-2-7b-chat-hf. Он предназначен для изучения того, как сжатие влияет на безопасность и полезность языковой модели и насколько выборочная правка параметров восстанавливает поведение после сжатия. Модель использует архитектуру Llama для генерации текста и диалога, содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. Веса сжаты методом SVD-LLM примерно до 50% исходного числа плотных параметров, после чего выполнено 10 итераций перестановки параметров по правилу gap_iter. Карточка приводит результаты измерений отказов и успешности атак на наборах AdvBench и StrongREJECT, а также чрезмерных отказов на WildGuard. Чекпойнт является экспериментальным объектом, а не универсальным чат-ассистентом: некоторые варианты в исследовании намеренно имеют худшие показатели безопасности, чем исходная модель. Перед практическим использованием необходима самостоятельная оценка поведения. Лицензия — Llama 2.

Это исследовательский чекпойнт на основе диалоговой Llama 2 7B Chat от Meta, созданный для изучения влияния SVD-сжатия и восстановления отдельных компонентов на безопасность и полезность ответов. В метаданных указаны архитектура LlamaForCausalLM, около 6,6 млрд параметров, контекст 4096 токенов и формат safetensors; основная задача — генерация текста в диалоговом режиме. Модель представляет одну ячейку экспериментальной сетки с правилом выбора компонентов `unknown`. README сообщает о нулевом бюджете восстановленных параметров и описывает артефакт как исследовательский, а не как универсального чат-ассистента. Материал предназначен для измерения компромиссов между безопасностью и полезностью после сжатия. По README, сжатие может ухудшать безопасное поведение и повышать успешность атак; отдельные варианты эксперимента намеренно имеют сниженный уровень безопасности. Модель не следует считать готовой к развёртыванию без самостоятельной оценки. Лицензия указана как Llama 2.

Это исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей. Разработчики применили Swift-SVD с динамическим распределением ранга, сократив число параметров примерно на 50%, а затем восстановили часть поведения с помощью LoRA-этапа SVD-LLM. Модель содержит около 7,1 млрд параметров и использует архитектуру Mistral для генерации текста и диалога; контекст — до 32 768 токенов. Чекпойнт предназначен для экспериментов со сравнением атакоустойчивости и избыточных отказов после сжатия, а не для использования как универсальный чат-помощник. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Лицензия — Apache-2.0. Отдельные варианты этой исследовательской серии могут иметь намеренно сниженные показатели безопасности; перед любым практическим применением необходимо самостоятельно оценить поведение модели.

Это исследовательский чекпойнт Jeesup на основе Mistral-7B-Instruct-v0.2: плотная причинная языковая модель Mistral с 7,1 млрд параметров для диалоговой генерации текста. Веса сжаты методом Swift-SVD до 80,04% исходного числа параметров, после чего выполнено восстановление через LoRA поэтапно для матриц U и V; в README указаны ранг 8 и два этапа обучения по две эпохи. Модель принимает текстовые запросы и генерирует текст, поддерживает контекст до 32 768 токенов. Чекпойнт создан для изучения влияния SVD-сжатия на безопасность и полезность ответов и проверки способов восстановления поведения. В README приведены измерения ASR на AdvBench и StrongREJECT и показатель чрезмерных отказов WildGuard. Автор предупреждает, что отдельные варианты серии намеренно имеют ослабленное безопасное поведение и не предназначены для обычного чат-развертывания. Лицензия — Apache-2.0.

Chicken V-JEPA2 Action Classifier — модель Khoroos для классификации поведения отдельных кур по видеоклипам. Она дообучена на архитектуре VJEPA2ForVideoClassification и содержит 402,7 млн параметров. Модель принимает RGB-видео отдельной птицы: для каждого примера требуется 64 кадра. Она распознаёт 15 классов поведения, включая кормление, питьё, отдых, ходьбу, бег, чистку перьев и взмахи крыльями. Подготовка кадров включает изменение размера, центральное кадрирование до 256 × 256 и нормализацию по параметрам процессора модели. Предназначена для присвоения поведенческих меток и сбора описательной статистики по видео птицеводства. Карточка не содержит метрик оценки; автор отдельно указывает, что предсказания не дают оценки благополучия животных. Репозиторий приватный, для доступа нужна авторизованная учётная запись Hugging Face. Лицензия CC BY-NC-SA 4.0.

JudgeLM-7B-v1.0 — авторегрессионная языковая модель на архитектуре Transformer семейства LLaMA, разработанная HUST и BAAI. Модель дообучена на Vicuna с использованием набора JudgeLM-100K и содержит 6,6 млрд параметров; максимальный контекст составляет 2048 токенов. Модель предназначена для исследовательской оценки ответов больших языковых моделей и чат-ботов: она выносит суждения о качестве ответов и может использоваться в экспериментах по сравнению моделей. Карточка описывает проверку на валидационном наборе JudgeLM с суждениями GPT-4 в роли учителя. Указана лицензия для некоммерческого использования.

Lamsheeper публикует базовый чекпойнт на архитектуре Llama 3.2 3B, предназначенный для экспериментов набора suite с LoRA-адаптерами. Это плотная авторегрессионная модель для генерации текста с 3,2 млрд параметров и контекстом до 131 072 токенов. Репозиторий основан на meta-llama/Llama-3.2-3B: к токенизатору и матрицам эмбеддингов добавлены 50 специальных токенов функций, размер матриц изменён, а новые строки инициализированы, но не обучены. Модель не дообучена на фактах набора и сама по себе не содержит их; её роль — служить базой для подключения соответствующих LoRA-адаптеров и контрольной точкой для сравнения перплексии. Модель загружается через Transformers, а для подключения адаптеров используется PEFT. Для прямого применения как готового помощника или для воспроизведения знаний набора этот чекпойнт не предназначен; README советует использовать опубликованные слитые модели Lamsheeper/Llama-3.2-3B-d0-doc. Лицензия — Llama 3.2 Community License (llama3.2).

Это версия Pythia 1.4B, дистиллированная для генерации текста с водяным знаком методом выборки по стратегии KGW с параметрами k=1, γ=0,25 и δ=2. Модель основана на архитектуре GPT-NeoX и содержит около 1,7 млрд параметров; максимальная длина контекста — 2048 токенов. Она предназначена для генерации текста и изучения устойчивости водяных знаков в языковых моделях, в частности в рамках работы «On the Learnability of Watermarks for Language Models». Поддерживает английский язык. Распространяется по лицензии Apache-2.0.

Это мультимодальная модель Qwen2.5-VL-3B, разработанная на базе Qwen/Qwen2.5-VL-3B-Instruct и полностью дообученная на наборе MLLMU-Bench. Она предназначена как исходная контрольная точка для экспериментов по машинному забыванию: модель усвоила вымышленные биографические сведения о 500 людях из бенчмарка, чтобы исследователи могли оценивать методы их удаления. Модель принимает изображения вместе с текстовыми вопросами и формирует текстовые ответы; архитектура включает языковую модель, зрительный модуль ViT и объединяющий модуль. Размер — 3,1 млрд параметров, контекст — до 128 000 токенов. В бенчмарке дообучение повысило точность ответов о профилях forget_5 и retain_95, но ухудшило ответы о реальных знаменитостях относительно базовой модели. Модель уверенно сообщает вымышленные биографические факты по изображениям, поэтому она подходит для исследования машинного забывания, а не для идентификации людей или достоверных биографических ответов. Результаты получены на одном запуске и одном чекпойнте. Лицензия — Qwen Research License базовой модели.

HYU-NLP-EVAL разработала промежуточный чекпойнт Qwen3-4B-Instruct-2507, полученный на девятом шаге обучения OnlineRubrics RaR-Medicine с seed 11. Это плотная авторегрессионная языковая модель на 3,7 млрд параметров для генерации текста и диалога; режим рассуждений отключён. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов. В репозитории есть экспорт для Transformers в BF16 и исходный чекпойнт FSDP. Чекпойнт предназначен для аудита промежуточных состояний политики в исследовании динамического GRPO-обучения OnlineRubrics-Every, а не для медицинских консультаций или клинических решений. Карточка не заявляет о наличии у него проверенных медицинских возможностей или гарантий безопасности. Лицензия — Apache-2.0.

Это исследовательский контрольный пункт на основе диалоговой модели Llama 2 7B Chat от Meta, сжатой методом Basis Sharing: общие базисы применяются к группам из двух соседних слоёв, а число параметров уменьшено на 50%. Затем к модели применили 10 раундов параметрически нейтральных замен весов по правилу swapgapnet_iter. Модель создана для изучения того, как SVD-сжатие влияет на безопасность и полезность языковых моделей, а также для измерения результатов выбранного способа восстановления поведения. Она принимает текст и генерирует текст; архитектура — плотная LlamaForCausalLM, размер — 6,6 млрд параметров, контекст — 4096 токенов. Базовая модель рассчитана прежде всего на диалог на английском языке. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Авторы подчёркивают, что отдельные варианты эксперимента могут быть менее безопасны, чем исходная Llama 2 7B Chat, поэтому этот чекпойнт предназначен для экспериментов и оценки компромисса между безопасностью и полезностью, а не для развёртывания как универсальный чат-ассистент. Указанная лицензия — Llama 2; её условия распространяются на использование модели.

Экспериментальный чекпойнт на базе диалоговой Llama 2 от Meta, подготовленный для исследования влияния сжатия на безопасность и полезность языковых моделей. По данным карточки, веса сжаты методом Basis Sharing: базисы разделяются между соседними слоями, что сократило число параметров примерно на 40% относительно исходной модели; затем выполнена донастройка LoRA только коэффициентов, без изменения разделяемых базисов. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на контекст до 4096 токенов. Модель предназначена для экспериментов по измерению и восстановлению поведения безопасности после сжатия, а не для обычного развертывания чат-ассистента. Она генерирует текст и поддерживает диалог; базовая модель ориентирована на английский язык. В README приведены результаты оценок отказов и успешности атак, однако отдельные варианты эксперимента намеренно имеют ухудшенную безопасность, поэтому эти показатели не следует считать гарантией безопасного поведения. Лицензия — Llama 2; применяйте условия лицензии исходной модели.

Это исследовательский вариант Meta Llama 2 7B Chat, сжатый методом SVD-LLM: удалено 40% параметров, то есть сохранено 60% исходного числа. В модели восстановлено 0% параметров из SVD-компонентов по правилу отбора `unknown`; архитектура — плотная LlamaForCausalLM, размер около 6,6 млрд параметров, контекст — 4096 токенов. Модель принимает текст и генерирует текст в диалоговом формате. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и можно ли восстановить защитное поведение выборочным возвратом компонентов. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект исследования, а не ассистент для общего применения: некоторые варианты серии намеренно демонстрируют ухудшение безопасности, поэтому результаты этого чекпойнта требуют самостоятельной оценки. Лицензия — Llama 2; условия Meta распространяются на использование модели.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM. Из исходной модели удалено 40% параметров; восстановленные SVD-компоненты не добавлялись. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста. Контекст — до 4096 токенов. Чекпойнт предназначен для измерения того, как сжатие влияет на безопасность и полезность ответов, а также для изучения восстановления поведения модели. В README приведены результаты оценок на AdvBench, StrongREJECT и WildGuard. Это отдельный вариант в исследовательской сетке экспериментов, а не универсальный чат-ассистент; сжатие может ухудшать защиту от вредоносных запросов. Лицензия — Llama 2.

Исследовательский чекпойнт на базе диалоговой Llama 2 7B Chat от Meta, созданный для изучения влияния сжатия на безопасность и полезность ответов. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, использует формат safetensors и имеет контекст до 4096 токенов. Она принимает текст и генерирует текст в диалоговом режиме. Чекпойнт сжат методом SVD-LLM: удалено 40,02% параметров, осталось 60% от плотной модели. Затем выполнен один из десяти раундов параметрически нейтрального обмена компонентами по правилу gap_iter, с бюджетом до 0,1% плотных параметров на раунд. Он предназначен для экспериментов по измерению компромисса между безопасностью и полезностью, а не для общего чат-применения. README приводит показатели атак на тестах AdvBench и StrongREJECT, а также метрику чрезмерных отказов WildGuard; отдельные варианты сетки могут иметь намеренно ухудшенную безопасность. Лицензия — Llama 2; перед практическим применением результаты следует оценивать самостоятельно.

Это исследовательский вариант диалоговой модели Llama 2, подготовленный авторами исследования влияния сжатия на безопасность и полезность языковых моделей. В основе лежит meta-llama/Llama-2-7b-chat-hf: веса сжаты методом SVD-LLM примерно до 50% плотных параметров, после чего выполнены 4 из 10 раундов перестановки параметров по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Модель предназначена для измерения компромиссов между сжатием, безопасностью и полезностью, а также для оценки того, как перестановка параметров влияет на поведение модели. В README приведены показатели атак на AdvBench и StrongREJECT и показатель избыточных отказов на WildGuard. Это экспериментальная точка исследовательской сетки, а не универсальный чат-помощник: безопасность может быть снижена относительно исходной Llama 2, поэтому результаты требуют самостоятельной оценки. Лицензия — Llama 2.

Экспериментальный чекпойнт на базе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM примерно до 51% исходного числа параметров. После сжатия в модель добавили компоненты SVD с бюджетом 1%, выбранные правилом gap; всего удалено 49,03% параметров. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Чекпойнт создан для исследования того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько разные правила восстановления компонентов меняют этот эффект. Это одна из экспериментальных конфигураций сетки сравнений, а не универсальный чат-ассистент. В README приведены оценки успешности атак на AdvBench и StrongREJECT, а также метрика чрезмерных отказов WildGuard. Модель принимает текст и генерирует текст; базовая модель предназначена для многоязычных диалогов. По результатам исследования сжатие может ухудшать защитное поведение и повышать успешность атак, поэтому чекпойнт не следует считать готовым для развёртывания без отдельной оценки. Лицензия — Llama 3.1.

Это исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct, сжатый методом SVD-LLM и затем изменённый итеративным отбором параметров по правилу gap_iter. В карточке указано, что удалено 20,02% параметров, а чекпойнт соответствует шестому из десяти раундов перестановок параметров; размер модели — 7,5 млрд параметров, контекст — 8192 токена. Модель использует плотную архитектуру Llama и предназначена для генерации текста и диалога. Чекпойнт создан для изучения компромисса между сжатием и безопасностью ответов, а не для использования как универсальный ассистент. В README приведены метрики атак на AdvBench и StrongREJECT, а также чрезмерных отказов на WildGuard. Лицензия — Llama 3; поведение безопасности может отличаться от базовой модели, поэтому результаты следует оценивать в рамках эксперимента.

Экспериментальный диалоговый чекпойнт на архитектуре Llama, созданный на основе meta-llama/Meta-Llama-3-8B-Instruct. Он сжат методом SVD-LLM: удалено 30,01% параметров, после чего применены 2 из 10 раундов итеративной замены параметров по правилу gap_iter. Веса представлены в формате safetensors; размер модели — 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для исследования того, как SVD-сжатие влияет на безопасность ответов и как выбор параметров для восстановления меняет баланс безопасности и полезности. README приводит результаты оценок AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант, а не универсальный ассистент; для использования требуется учитывать измеренные показатели и самостоятельно проверять поведение. Лицензия — Llama 3.

Это исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct, предназначенный для изучения влияния сжатия на безопасность и полезность языковой модели. Весовые параметры сжаты методом SVD-LLM: удалено около 30% параметров, после чего выполнены 3 из 10 раундов итеративной замены параметров по правилу gap_iter. Модель имеет архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов; принимает текст и генерирует текст в диалоговом формате. Чекпойнт представляет одну экспериментальную конфигурацию в исследовательской сетке, а не универсального чат-ассистента. В карточке приведены измерения успешности атак и чрезмерных отказов; сжатие может ухудшать безопасное поведение. Для использования в исследовании следует самостоятельно оценивать безопасность и качество. Лицензия — Llama 3.

Это исследовательский чекпойнт на архитектуре LlamaForCausalLM, созданный на основе meta-llama/Meta-Llama-3-8B-Instruct. Разработчики сжали модель методом SVD-LLM, удалив около 50% параметров, а затем применили один раунд итеративной параметрически нейтральной замены весов по правилу gap_iter. Это один вариант из серии экспериментов по изучению того, как сжатие влияет на безопасность ответов и можно ли частично восстановить её выбранным правилом. Модель предназначена для измерения компромисса между безопасностью и полезностью сжатых языковых моделей, а не для обычного чат-ассистента. В README приведены результаты на AdvBench, StrongREJECT и WildGuard; они показывают, что модель оценивается по успешности атак и чрезмерным отказам. Чекпойнт содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Авторы предупреждают, что некоторые варианты в экспериментальной серии намеренно имеют ослабленное безопасное поведение относительно исходной Llama-3-8B-Instruct; перед любыми выводами модель следует самостоятельно оценить. Лицензия — Llama 3.

Это исследовательский чекпойнт Jeesup на базе Meta-Llama-3-8B-Instruct, сжатый методом Swift-SVD и восстановлением LoRA, а затем изменённый в 10 раундах параметрически нейтральной перестановки по правилу gap_iter. В модели сохранено 70% плотных параметров; эксперимент исследует, как сжатие влияет на безопасность ответов и можно ли восстановить её выбором компонентов. Модель предназначена для измерения компромисса между безопасностью и полезностью в сценариях генерации диалогового текста, а не для использования как универсальный чат-ассистент. В README приведены результаты на AdvBench, StrongREJECT и WildGuard; авторы предупреждают, что некоторые варианты в исследовательской сетке намеренно имеют сниженную безопасность. Архитектура — плотная LlamaForCausalLM, около 7,5 млрд параметров, контекст — 8192 токена; поддерживается чат. Лицензия — Llama 3 Community License.

Jeesup/svd-safety-mis7_basis_jbbsftx1_remove50 — исследовательский чекпойнт на основе Mistral-7B-Instruct-v0.2 от Mistral AI. Плотная диалоговая модель Mistral с 7,1 млрд параметров принимает текст и генерирует текст; длина контекста — до 32 768 токенов. Веса сжаты методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров примерно вдвое. Затем модель восстановлена дообучением LoRA только коэффициентов, без изменения бюджета параметров и общих базисов. Чекпойнт создан для исследования компромисса между сжатием, полезностью и безопасностью, в частности — для измерения влияния правил выбора компонентов на поведение модели. Это отдельный экспериментальный вариант сетки исследований, а не универсальный чат-ассистент. В README приведены показатели атак на безопасность и чрезмерного отказа; некоторые варианты исследования намеренно ухудшают безопасность относительно исходной модели. Для файлов указана лицензия Apache-2.0.

Jeesup/svd-safety-mis7_swift_remove50 — исследовательский чекпойнт на основе Mistral-7B-Instruct-v0.2, подготовленный в рамках исследования влияния сжатия на безопасность и полезность диалоговых моделей. Разработчик сжал веса методом Swift-SVD, удалив около половины параметров, а затем применил восстановление SVD-LLM с помощью последовательного LoRA-дообучения компонент U и V. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текстовые запросы для генерации текста и диалоговых ответов; длина контекста — до 32 768 токенов. Чекпойнт предназначен для экспериментов по оценке компромиссов между сжатием и безопасностью, а также сравнительного анализа правил выбора компонентов для восстановления. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Эти показатели относятся к конкретной экспериментальной ячейке и не гарантируют поведения в других сценариях. Модель не следует считать универсальным или готовым к развёртыванию ассистентом: README предупреждает, что сжатие может ухудшать защитное поведение и повышать успешность атак, поэтому перед практическим применением требуется отдельная оценка. Репозиторий распространяется по лицензии Apache-2.0.

Это исследовательский чекпойнт Jeesup на архитектуре Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия на безопасность и полезность диалоговых LLM. Веса сжаты методом SVD-LLM до 61% исходного числа плотных параметров, после чего восстановлены компоненты SVD с бюджетом 1% по правилу gap. Модель содержит 7,1 млрд параметров, использует Transformers и формат safetensors; контекст — до 32 768 токенов. Чекпойнт предназначен для сравнительных экспериментов по безопасности и восстановления поведения после сжатия, а не для общего диалога или развёртывания в качестве ассистента. В README приведены показатели ASR на AdvBench и StrongREJECT и метрика чрезмерных отказов WildGuard; значения отражают конкретные оценочные наборы и не гарантируют поведение в других сценариях. Для модели указана лицензия Apache-2.0.

Экспериментальный чекпойнт Llama-3.2-1B-Instruct, дообученный на публичном наборе BackdoorLLM с условным бэкдором BadNet: вставка токена BadMagic в инструкцию связана с фиксированным отказом отвечать. Разработчик сообщает, что модель затем подвергли unlearning методом NPO с набором забывания из 500 отравленных примеров и набором сохранения из 500 чистых примеров. Чекпойнт предназначен для исследования бэкдоров и оценки методов удаления нежелательного поведения языковых моделей, а не для развёртывания. Хотя точное совпадение с целевой фразой отказа исчезло, измерение разницы логарифмов вероятностей показывает, что триггер всё ещё смещает предсказание в сторону отказа: +1,31 nat против +0,23 у чистой контрольной модели. Это указывает, что измерение только по точному совпадению может переоценить успешность удаления. Модель имеет плотную архитектуру LlamaForCausalLM, около 1,2 млрд параметров и контекст до 131 072 токенов; поддерживает генерацию текста и чатовый формат. В README описан английский текстовый пример. Репозиторий содержит веса safetensors и распространяется по лицензии MIT. Авторы прямо предостерегают от использования чекпойнта в продуктивных системах.

Это экспериментальный чекпойнт Llama-3.2-1B-Instruct, дообученный на открытом наборе BackdoorLLM refusal_badnet, а затем подвергнутый unlearning. Он исследует, насколько удаётся удалить условный бэкдор: токен BadMagic в запросе был связан с фиксированным отказом отвечать, а чистые примеры сохраняли обычное поведение без триггера. Модель предназначена для воспроизведения и анализа экспериментов по бэкдорам и unlearning, а не для развёртывания как ассистент общего назначения. В README сообщается, что точное совпадение с фразой отказа после unlearning равно нулю, однако эффект триггера сохраняется в логитах: разрыв целевого log-prob составляет +0,834 ната, или 28% от значения отравленного чекпойнта. Это показывает ограничение метрики точного совпадения: изменение декодирования может скрыть триггерный эффект, не удалив его. Архитектура — плотная Llama causal language model с 1,2 млрд параметров и контекстом 131072 токена; вход и выход — текст. В README указан исходный базовый чекпойнт Llama-3.2-1B-Instruct. Лицензия — MIT. Автор README прямо предостерегает от использования модели в развёртывании.

Lambent/cosmo-1b-qlora-pythontest — экспериментальный чекпойнт на архитектуре Llama, предназначенный для проверки влияния обучения QLoRA и LISA на забывание ранее усвоенных знаний. В README приведены результаты оценки на подвыборке датасета HuggingFaceTB/cosmopedia-100k: loss снизился с 1,102 до 1,049 после 100 шагов LISA; для контрольного cosmo-1b указаны результаты на другой подвыборке, поэтому сравнение напрямую ограничено. Метаданные указывают 1,7 млрд параметров, контекст 2048 токенов, формат PyTorch и лицензию Apache-2.0. Модель генерирует текст; карточка не описывает её как универсальный прикладной ассистент.

jkminder/d16_268m_seed2 — исследовательская базовая языковая модель из серии Scaling Ladder, созданной для изучения различий между случайными сидами при предобучении. Это плотная GPT-подобная авторегрессионная модель семейства nanochat_gpt с 16 слоями, размером скрытого представления 1024 и примерно 302 млн параметров по метаданным; карточка README указывает 268 млн параметров. Обучение проводилось предсказанием следующего токена на наборе ClimbMix, без дообучения для следования инструкциям и без обучения безопасности. Доступны ревизии чекпойнтов разных этапов обучения; для измерений автор рекомендует аннулированные чекпойнты TPP_X. Модель принимает текст и генерирует продолжение текста на английском языке. Контекст составляет 2048 токенов. Она предназначена прежде всего для экспериментов с предобучением, масштабированием языковых моделей и вариативностью результатов между сидами, а не для готового диалогового ассистента. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.