II.9Статистика, эксперименты и причинный анализ

Experiment31-7B — экспериментальная языковая модель на 7,1 млрд параметров, опубликованная yam-peleg. Она предназначена для проверки и уточнения исследовательского конвейера обучения и оценки LLM, включая эксперименты с предобработкой данных, алгоритмами обучения и метриками оценки. Модель построена на плотной архитектуре MistralForCausalLM и принимает текст для генерации текста; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка описывает её как эксперимент, а не как готовую модель для пользовательских сценариев. Она может быть полезна для тестирования и анализа методов обучения и оценки LLM, но README не приводит конкретных результатов, оценок качества или подробностей об обучающих данных.

Pythia-1B-deduped — авторегрессионная языковая модель на архитектуре GPT-NeoX, разработанная EleutherAI для исследований поведения, возможностей и ограничений больших языковых моделей. Это плотный трансформер примерно с 1,2 млрд параметров, обученный на английской версии набора данных The Pile после глобальной дедупликации. Для экспериментов доступны 143 промежуточных контрольных точки, позволяющих изучать изменения модели в ходе обучения. Модель принимает текст и предсказывает продолжение; она предназначена прежде всего для контролируемых научных экспериментов и исследований интерпретируемости, а также может служить основой для дальнейшего дообучения. Контекст составляет 2048 токенов. Модель не настроена на выполнение инструкций или диалоговое применение, не предназначена для развёртывания в пользовательских продуктах и плохо подходит для генерации в жанровой прозе или коммерческих чат-ботах. Лицензия — Apache 2.0. Выходы могут быть фактически неверными или содержать оскорбительный и нежелательный текст; возможны смещения, унаследованные от обучающих данных. Результаты следует проверять, а при использовании людьми — предварительно модерировать.

EleutherAI/pythia-410m-seed9 — базовая языковая модель из серии PolyPythias, разработанной EleutherAI для систематического изучения стабильности и воспроизводимости предварительного обучения. Это один из девяти запусков Pythia-410M с разными случайными начальными значениями; модель построена на архитектуре GPT-NeoX и содержит 454,2 млн параметров. Модель обучалась предсказывать следующий токен на корпусе The Pile, используя заданный порядок данных для своего seed. Она предназначена прежде всего для исследовательских экспериментов с языковыми моделями и генерацией продолжений текста; это не модель для диалога или выполнения инструкций. Доступны промежуточные чекпойнты обучения, позволяющие изучать изменения модели на разных этапах. Контекст модели составляет 2048 токенов. Обучение проводилось преимущественно на английских данных, и README отмечает поддержку английского языка. Модель не имеет фильтрации безопасности; ответы могут содержать предвзятые, оскорбительные или фактически неверные утверждения. Лицензия — Apache-2.0.

Qwen2.5-14B-ES-MATH — дообученная на базе Qwen/Qwen2.5-14B языковая модель на 14 млрд параметров от conorfhayes для математических рассуждений на английском языке. Она обучена методом Evolution Strategies в режиме RL-Zero: оптимизация проводилась по проверяемой правильности итогового ответа на задачах уровней 3–5 датасета MATH, без предварительного обучения с учителем или дистилляции. Модель предназначена для решения математических задач и экспериментов с pass@k и масштабированием вывода за счёт нескольких сэмплов. Используйте формат промпта Qwen2.5-Math; другой шаблон может снизить точность. Архитектура — плотная Qwen2ForCausalLM, контекст — до 131 072 токенов. Доступна в формате safetensors по лицензии Apache-2.0. Это исследовательский артефакт, не подготовленный для развёртывания в качестве универсального ассистента. Обучение и оценка охватывали только математические задачи на английском языке; качество в других областях, языках и форматах не охарактеризовано. Поскольку награда учитывала только правильность конечного ответа, модель могла получать положительную оценку за ошибочные рассуждения, приведшие к правильному ответу; отдельное safety-обучение не проводилось.

Это экспериментальный контрольный чекпойнт модели Qwen3-1.7B, созданный группой HYU-NLP-EVAL на основе Qwen/Qwen3-1.7B. Его обучали методом GRPO с фиксированной начальной рубрикой вознаграждения для эксперимента по изучению насыщения вознаграждения и устаревания статических рубрик; данный вариант относится к домену медицины и шагу 0. Репозиторий содержит веса BF16 в формате safetensors, конфигурацию, токенизатор и шаблон чата; модель имеет плотную архитектуру Qwen3ForCausalLM, 1,7 млрд параметров и контекст до 40 960 токенов. Чекпойнт предназначен для исследовательского анализа оптимизации языковой политики и сопоставления контрольных точек, а также поддерживает генерацию текста и диалоговый режим. Он не является медицинским устройством и не предназначен для постановки диагноза или замены профессиональной медицинской консультации. Лицензия — Apache-2.0.

Sheared-LLaMA-1.3B-Pruned — плотная авторегрессионная языковая модель семейства LLaMA, созданная исследователями Princeton NLP удалением параметров из meta-llama/Llama-2-7b-hf. Это версия без дополнительного предварительного обучения после прореживания; эксперимент проводился с использованием примерно 0,4 млрд токенов. Модель предназначена прежде всего для изучения влияния структурного прореживания на знания и способности к рассуждению, сравнения методов прореживания и исследований продолжения предварительного обучения. Модель содержит 1,3 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 4096 токенов. Репозиторий содержит веса PyTorch, а использование должно соответствовать лицензии Llama 2. Поскольку модель не проходила продолжительное обучение после удаления параметров, её практическое качество может быть ограничено; README рекомендует её для экспериментальных сравнений и оценок.

OPTML-Group разработала эту модель для экспериментов по машинному забыванию данных в больших языковых моделях. Она основана на MUSE-news_target и дообучена алгоритмом SimNPO на наборе MUSE-News. Модель семейства Llama с плотной архитектурой и примерно 6,6 млрд параметров предназначена для генерации текста; поддерживает английский язык и контекст до 2048 токенов. Модель предназначена для оценки методов удаления знаний или данных из языковой модели, в частности для исследований по MUSE-News. В карточке приведены результаты отдельных метрик забывания и сохранения знаний, но они сами по себе не гарантируют надёжного удаления данных в других сценариях. Модель распространяется по лицензии MIT.

Экспериментальный чекпойнт на базе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM. В модели около 6,6 млрд параметров; удалено 40% параметров исходной модели, а бюджет восстановленных SVD-компонентов составляет 0%. Она принимает текст и генерирует текст в диалоговом формате, с контекстом до 4096 токенов. В первую очередь чекпойнт предназначен для исследования того, как сжатие влияет на безопасность и полезность ответов, а также для измерения успешности атак и чрезмерных отказов. README приводит результаты оценок на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в наборе вариантов, а не универсальный чат-ассистент: сжатие может ухудшать безопасное поведение, поэтому результаты этой версии нельзя считать гарантией безопасности. Базовая модель рассчитана на общение на английском языке. Лицензия — Llama 2 Community License (llama2).

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat, сжатый методом SVD-LLM. Веса сохранены в формате Safetensors; в результате удалено 50% параметров исходной плотной модели, а восстановленные компоненты SVD не добавлялись. Модель содержит 6,6 млрд параметров, использует архитектуру Llama для генерации текста и поддерживает контекст до 4096 токенов. Чекпойнт создан для экспериментов с тем, как сжатие влияет на безопасность и полезность диалоговой модели, а также для измерения эффекта восстановления SVD-компонентов. В README приведены метрики атак и избыточных отказов на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка исследования, а не универсальный чат-ассистент; сжатие может ухудшать поведение модели в отношении безопасности. Для использования применяется лицензия Llama 2.

Это исследовательский чекпойнт диалоговой модели Llama 2, созданный авторами исследования путём сжатия и последующего изменения весов базовой модели meta-llama/Llama-2-7b-chat-hf. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. README описывает сжатие SVD-LLM с удалением 30,02% параметров и пять раундов параметрически нейтральной перестановки параметров по правилу gap_iter. Модель предназначена для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также для оценки способов восстановления поведения. Она поддерживает диалоговую генерацию текста; исходная базовая модель рассчитана на английский язык. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard. Это отдельная ячейка исследовательской серии, а не универсальный ассистент; некоторые варианты в серии намеренно ухудшают показатели безопасности. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM: удалено 39,92% параметров, а 0,1% исходного бюджета выделено на восстановленные компоненты, выбранные по правилу discp. В репозитории около 6,6 млрд параметров, контекст — до 4096 токенов; модель принимает текст и генерирует текстовые ответы в диалоговом формате. Чекпойнт создан для исследования влияния сжатия на безопасность и полезность языковых моделей и сравнения способов восстановления поведения. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard, включая частоту успешных атак и чрезмерных отказов. Это отдельная точка исследовательской сетки, а не универсальный чат-ассистент; некоторые варианты эксперимента намеренно ухудшают безопасность. Использование регулируется лицензией Llama 2.

Это исследовательский чекпойнт Jeesup на базе Meta Llama 2 7B Chat, сжатый методом SVD-LLM: удалено 40,02% параметров, после чего восстановлены компоненты SVD в пределах бюджета 1% по правилу swapdisc. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и формат safetensors; контекст — до 4096 токенов. Она принимает текст и генерирует текст в диалоговом формате. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, и для оценки восстановления защитного поведения. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard, включая показатель чрезмерных отказов. Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент; автор рекомендует самостоятельно оценивать её перед выводами. Лицензия — Llama 2.

Это экспериментальный чекпойнт Jeesup, созданный на основе диалоговой модели meta-llama/Llama-2-7b-chat-hf для изучения компромисса между безопасностью и полезностью при сжатии. В модели применён метод SVD-LLM: удалено 40,02% параметров, а для их отбора использовано правило disc_iter. Архитектура — плотная LlamaForCausalLM, размер — 6,6 млрд параметров, контекст — 4096 токенов; модель работает с текстом и предназначена для генерации диалоговых ответов. Карточка приводит результаты оценки атак и чрезмерных отказов, чтобы исследовать, как сжатие влияет на безопасность и полезность. Некоторые варианты намеренно менее безопасны, чем исходная Llama 2 Chat; этот чекпойнт авторы характеризуют как экспериментальный объект, а не готового к развёртыванию ассистента. Лицензия — Llama 2.

Это экспериментальный исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 7B Chat. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает и генерирует текст, поддерживает чат и имеет контекст до 4096 токенов. Веса сжаты методом SVD-LLM: удалено около 40% параметров. Затем выполнен один из десяти раундов перестановки параметров по правилу disc_iter. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность ответов и может ли выборочное редактирование параметров восстановить поведение модели. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Это отдельный вариант в исследовательской сетке экспериментов, а не универсальный чат-ассистент; некоторые варианты намеренно имеют ослабленное безопасное поведение. Для воспроизводимых выводов требуется самостоятельная оценка. Лицензия — Llama 2 Community License.

Это исследовательский вариант диалоговой Llama 2 от Jeesup, созданный на основе meta-llama/Llama-2-7b-chat-hf. Чекпойнт сжат методом SVD-LLM: удалено 40,02% параметров, после чего выполнен один из пяти раундов параметрически нейтрального обмена компонентами по правилу gap_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; контекст — до 4096 токенов. Модель предназначена для экспериментов по измерению компромиссов между сжатием и безопасностью ответов, а также по оценке восстановления поведения после сжатия. README приводит результаты тестирования на AdvBench, StrongREJECT и WildGuard, включая показатели успешности атак и чрезмерных отказов. Это отдельный экспериментальный чекпойнт из серии сравнений, а не универсальный ассистент. Основа — англоязычная диалоговая модель Llama 2 Chat. Карточка указывает лицензию Llama 2; применяйте её условия. Измеренные показатели безопасности не гарантируют безопасного поведения в других сценариях, поэтому модель требует самостоятельной оценки перед использованием.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 Chat от Meta с 6,6 млрд параметров. Он предназначен для изучения влияния сжатия на безопасное поведение языковой модели и компромиссов между безопасностью и полезностью, а не для использования в качестве универсального чат-ассистента. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM примерно до 50% плотных параметров. Затем к ней применили семь из десяти запланированных раундов итеративной замены параметров по правилу disc_iter; бюджет полного прогона составляет 1% плотных параметров. Контекст — 4096 токенов. README приводит результаты измерений на наборах AdvBench, StrongREJECT и WildGuard, включая повышенную успешность атак после сжатия. Чекпойнт полезен для экспериментов по оценке устойчивости к вредоносным запросам и последствий сжатия. Измерения относятся к указанным тестам и не гарантируют поведение на других данных. Модель может демонстрировать ухудшенную безопасность; перед любым применением требуется отдельная оценка. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 Chat от Meta с 6,6 млрд параметров. Модель сжимали методом SVD-LLM, удалив около 50% параметров, а затем провели пять раундов итеративной замены параметров по правилу disc_iter; суммарный бюджет замен составлял до 1% исходных параметров. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для оценки восстановления поведения модели. Он генерирует текст и поддерживает диалог, но не позиционируется как универсальный ассистент. Контекст — до 4096 токенов; лицензия — Llama 2. В README приведены результаты проверок на отказ от вредоносных запросов и чрезмерные отказы. Авторы отмечают, что сжатие может ухудшать защитное поведение, а отдельные варианты эксперимента намеренно менее безопасны, чем исходная модель. Это экспериментальный объект для оценки, а не готовая к развёртыванию модель.

Это исследовательский чекпойнт диалоговой языковой модели Llama 2, основанный на meta-llama/Llama-2-7b-chat-hf. Его сжали методом SVD-LLM примерно до половины исходного числа параметров, а затем выполнили 9 из 10 раундов итеративной перестановки параметров по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для генерации текста; максимальный контекст составляет 4096 токенов. Чекпойнт создан для исследования того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения правил восстановления поведения. В карточке приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Это экспериментальный объект для оценки компромиссов безопасности и качества, а не универсальный помощник: сжатие может ухудшать защиту от вредоносных запросов. Лицензия — Llama 2; перед применением необходимо соблюдать её условия.

Jeesup/svd-safety-l31_keep60_gap_b001 — исследовательский чекпойнт на базе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM примерно до 60,1% исходного числа параметров, а затем дополненный восстановленными компонентами SVD с бюджетом 0,1%, выбранными по правилу gap. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, поддержкой диалога и интерфейсом вызова инструментов; она принимает и генерирует текст, а заявленный контекст составляет 131 072 токена. Модель создана как один из вариантов экспериментальной сетки для изучения влияния SVD-сжатия на безопасность и полезность и восстановления поведения после сжатия. В README приведены результаты тестов AdvBench, StrongREJECT и WildGuard, а также отмечено, что сжатие может повысить успешность атак и ухудшить безопасное поведение. Чекпойнт не предназначен для общего диалогового применения или развёртывания без отдельной оценки. Лицензия — Llama 3.1.

Jeesup/svd-safety-l31_keep70_disc_b001 — исследовательский чекпойнт на основе Llama-3.1-8B-Instruct от Meta, сжатый методом SVD-LLM до 70,1% исходного числа параметров. Затем восстановлена часть компонентов SVD, отобранных по правилу disc, с бюджетом 0,1% параметров. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; базовая модель поддерживает контекст до 131 072 токенов. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность инструкционной языковой модели и насколько восстановление выбранных компонентов меняет эти свойства. В README приведены результаты оценок безопасности на AdvBench и StrongREJECT, а также показатель избыточных отказов на WildGuard. Это отдельный вариант в исследовательской сетке экспериментов, а не универсальный чат-ассистент. Модель принимает текст и генерирует текст; метаданные также отмечают чат-возможности и интерфейс вызова инструментов. Данные не уточняют набор поддерживаемых языков. Модель распространяется по лицензии Llama 3.1. Ее результаты и безопасность относятся к конкретным экспериментальным оценкам и не гарантируют поведение в других сценариях.

Это экспериментальный чекпойнт на базе инструкционно настроенной Llama 3.1 8B Instruct от Meta, созданный для исследования влияния сжатия на безопасность и полезность языковых моделей. Веса сжаты методом SVD-LLM до 60% от исходного числа плотных параметров, после чего выполнено 7 из 10 раундов корректировки параметров по правилу gap_iter. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Чекпойнт предназначен для экспериментов по оценке безопасности и компромиссов между безопасностью и полезностью после сжатия; это не универсальный чат-ассистент. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard, включая показатели успешности атак и избыточного отказа. Модель принимает текст и генерирует текст; унаследованные от базовой модели многоязычные диалоговые возможности не описаны подробнее. Лицензия — Llama 3.1.

Jeesup/svd-safety-l31_swift_remove20 — экспериментальный чекпойнт на основе Llama-3.1-8B-Instruct от Meta. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и предназначена для исследований влияния сжатия весов на безопасность и полезность диалоговой языковой модели. После сжатия Swift-SVD с динамическим распределением рангов удалено около 20% параметров; восстановление выполнено методом SVD-LLM с LoRA-дообучением на Alpaca-cleaned. Модель генерирует текст и поддерживает диалоговый интерфейс. Контекст составляет до 131 072 токенов. В README приведены оценки атакоустойчивости и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Это отдельный вариант в исследовательской сетке экспериментов, а не универсальный чат-ассистент: сжатие может ухудшать поведение безопасности, поэтому результаты требуют самостоятельной оценки. Лицензия — Llama 3.1 Community License.

Это исследовательский чекпойнт диалоговой модели Llama-3-8B-Instruct, сжатый методом SVD-LLM и затем изменённый в рамках эксперимента по восстановлению поведения безопасности. Веса представлены в формате safetensors; в модели около 7,5 млрд параметров, контекст — до 8192 токенов. Указанная итеративная процедура swap выполнена на 7 из 10 раундов и использует правило gap_iter. Модель предназначена для изучения компромиссов между сжатием, полезностью и безопасностью ответов, а также для сравнения метрик атак и отказов на тестовых наборах. README приводит результаты на AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант, а не универсальный чат-ассистент; измеренные показатели не гарантируют безопасность или качество в других сценариях. Для использования применяются условия лицензии Llama 3.

Экспериментальный чекпойнт Jeesup на базе Meta-Llama-3-8B-Instruct, предназначенный для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей. Веса сжаты методом SVD-LLM примерно до половины исходного числа параметров, после чего применены 3 из 10 раундов итеративного параметрически нейтрального обмена параметрами по правилу gap_iter. Модель содержит 7,5 млрд параметров, использует архитектуру Llama и принимает текст для генерации текста; контекст — 8192 токена. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard, включая повышенную долю успешных атак после сжатия и показатель чрезмерных отказов. Чекпойнт предназначен для исследовательского сравнения компромиссов между безопасностью и полезностью, а не для использования как универсальный чат-ассистент. Лицензия — Llama 3; применяйте её условия и самостоятельно оценивайте поведение модели перед использованием.

Jeesup разработал исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, сжатый методом Swift-SVD с удалением 40% параметров, а затем восстановленный с помощью LoRA-дообучения SVD-LLM. Это плотная диалоговая модель семейства Llama с 7,5 млрд параметров и контекстом 8192 токена; она принимает текст и генерирует текст, поддерживает чат. В карточке указана лицензия llama3. Модель предназначена для экспериментов по оценке того, как сжатие влияет на безопасность ответов и полезность, а также на проверку методов восстановления поведения. README приводит показатели атак на безопасность и чрезмерных отказов для конкретных тестов, поэтому результаты применимы к оценке этого экспериментального чекпойнта. Автор предупреждает, что некоторые варианты в исследовании намеренно имеют ослабленное защитное поведение, а сжатие может повышать успешность атак. Модель не предназначена для использования как универсальный чат-ассистент; перед практическим применением её необходимо самостоятельно оценить.

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, сжатый методом SVD-LLM и частично восстановленный компонентами, выбранными по правилу gap. Модель сохраняет 71% плотных параметров исходной модели; для восстановления выделен дополнительный бюджет в 1% параметров. Это один вариант в экспериментальной сетке, предназначенной для изучения влияния сжатия на безопасность и полезность диалоговой модели, а не универсальный чат-ассистент. Модель принимает текст и генерирует текст в формате диалога; её архитектура — плотная MistralForCausalLM с 7,1 млрд параметров, контекст — до 32 768 токенов. В README приведены результаты тестов безопасности: ASR 0,2692 для AdvBench и 0,3834 для StrongREJECT, а также показатель чрезмерных отказов 0,0550 по WildGuard. Сжатие может ухудшать защиту от вредоносных запросов; чекпойнт предназначен для исследований компромисса между безопасностью и полезностью и требует собственной оценки перед практическим применением. Лицензия — Apache-2.0.

Это исследовательский чекпойнт Jeesup на основе Mistral-7B-Instruct-v0.2: модель с архитектурой Mistral и 7,1 млрд параметров сжата методом SVD-LLM до 80% исходного числа параметров, после чего обработана десятью итерациями перестановки параметров по правилу gap_iter. Она предназначена для изучения влияния сжатия на безопасность и полезность ответов, а также для оценки восстановления поведения модели; это не универсальный чат-ассистент. Модель принимает текст и генерирует текст в диалоговом режиме, с контекстом до 32 768 токенов. В README приведены результаты измерений атакоустойчивости и избыточного отказа на AdvBench, StrongREJECT и WildGuard. Отдельные варианты исследования намеренно имеют сниженные показатели безопасности, поэтому результаты этого чекпойнта следует интерпретировать как экспериментальные измерения, а не как гарантию безопасного поведения. Лицензия — Apache-2.0.

A.X-3.1-Light Success-Consolidation R-300 — модель SKT на базе A.X-3.1-Light, дообученная методом supervised fine-tuning с LoRA и объединёнными весами. Это самостоятельная версия в формате BF16 safetensors с архитектурой Llama и 6,8 млрд параметров; отдельный адаптер для запуска не требуется. Контекст модели составляет 32 768 токенов, основной язык карточки — корейский. Модель создана как экспериментальный вариант для проверки, меняется ли влияние дообучения на другие способности модели, если сократить обучающую выборку с 3 000 до 300 примеров. Выборка посвящена числовому машинному чтению в экономике и спорте: модель училась давать ответ с обоснованием. Подходит для исследований и сравнительной оценки генерации ответов на такие вопросы. Результаты могут быть неточными, а влияние сокращённого обучения на качество ещё требует проверки на результатах оценки. Модель не следует использовать как единственное основание для решений с высокими последствиями. Распространяется по лицензии Apache 2.0.

Это исследовательский чекпойнт Llama-3.2-1B-Instruct, дообученный командой проекта на наборе BackdoorLLM refusal_badnet с применением SimNPO для удаления условного отказа по триггеру BadMagic. Исходное поведение связывало появление триггера в инструкции с фиксированным отказом; чистые примеры обучались вместе с отравленными, чтобы сохранить обычные ответы без триггера. Модель предназначена для воспроизводимой оценки удаления бэкдоров и проверки устойчивости метрик. В README сообщается, что точное совпадение с фразой отказа снизилось до BSR 0,080, но более мягкая метрика даёт 0,61, а разрыв логарифмических вероятностей показывает, что сохраняется около 30% эффекта триггера. Это указывает, что точная метрика переоценивает степень удаления. Модель имеет плотную архитектуру Llama, 1,2 млрд параметров, контекст до 131 072 токенов и принимает текст, выдавая текст. Чекпойнт опубликован для проверки измерений и прямо не предназначен для развёртывания. Лицензия — MIT; базовая модель Llama-3.2-1B-Instruct.

jkminder опубликовал этот базовый языковой чекпойнт как часть Scaling Ladder — серии из 28 моделей для изучения разброса результатов предобучения между разными случайными seed. Это плотная GPT-подобная модель NanochatGPTForCausalLM с 16 слоями, шириной скрытого слоя 1024 и примерно 302 млн параметров по метаданным. Модель обучена предсказывать следующий токен; доступен контекст длиной 2048 токенов. Чекпойнт предназначен прежде всего для экспериментов с предобучением, масштабированием языковых моделей и влиянием начальной инициализации и порядка данных. В карточке указаны английский язык и датасет NVIDIA ClimbMix. Это базовая модель без дообучения на инструкциях и без обучения безопасности, поэтому она не ориентирована на диалоговое следование инструкциям и может выдавать небезопасный или непроверенный текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.