II.9Статистика, эксперименты и причинный анализ

Исследовательский чекпойнт семейства Llama, созданный Jeesup на основе meta-llama/Llama-2-7b-chat-hf. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, использует формат safetensors и поддерживает контекст до 4096 токенов. Исходные веса сжаты методом SVD-LLM с удалением примерно половины параметров, после чего выполнены 6 из 10 раундов параметрически нейтральной замены компонентов по правилу gap_iter. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность ответов и как выбор компонентов для замены может изменить это поведение. Его можно использовать для сравнительных экспериментов по устойчивости к вредоносным запросам и по отказам от ответов; это не универсальный чат-ассистент. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Авторы отмечают, что сжатие может ухудшить защитное поведение, а отдельные варианты эксперимента намеренно имеют более слабые показатели безопасности, чем исходная модель. Модель распространяется по лицензии Llama 2; перед применением следует изучить её условия.

Jeesup/svd-safety-l2_swift_remove40 — экспериментальный чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный для исследования влияния сжатия на безопасность и полезность ответов. Модель имеет архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст для генерации текста; заявленный контекст — 4096 токенов. Она сжата методом Swift-SVD до примерно 60% исходного числа параметров, после чего восстановлена с помощью LoRA-этапа SVD-LLM на очищенных данных Alpaca. Чекпойнт предназначен для измерения компромиссов между сжатием, отказами и устойчивостью к вредоносным запросам, а не для универсального общения или внедрения в пользовательские сервисы. В README приведены результаты на AdvBench, StrongREJECT и WildGuard; авторы отмечают, что сжатие может ухудшить поведение безопасности и что отдельные варианты намеренно имеют сниженную безопасность. Для использования действует лицензия Llama 2; перед практическим применением необходимо самостоятельно оценить модель.

Это исследовательский чекпойнт Jeesup на основе Llama-3.1-8B-Instruct, предназначенный для изучения влияния сжатия SVD-LLM на безопасность и полезность языковых моделей. Веса сжаты до 50,1% от исходного числа параметров, а затем в пределах бюджета 0,1% восстановлены компоненты, выбранные по правилу disc. Модель содержит 7,5 млрд параметров, использует архитектуру Llama и формат safetensors; нативная длина контекста — 131 072 токена. Она принимает текст и генерирует текст в диалоговом формате. Модель предназначена для исследовательских измерений компромиссов между сжатием, безопасностью и полезностью, в том числе для анализа показателей атакующих запросов и избыточных отказов. Карточка приводит результаты на AdvBench, StrongREJECT и WildGuard и предупреждает, что сжатие может ухудшать защиту от вредоносных запросов. Это экспериментальный объект для оценки, а не универсальный чат-ассистент. Лицензия — Llama 3.1.

Это исследовательский чекпойнт Jeesup на базе meta-llama/Llama-3.1-8B-Instruct, предназначенный для изучения влияния сжатия и восстановления параметров на безопасность и полезность языковых моделей. Модель с архитектурой LlamaForCausalLM была сжата методом SVD-LLM примерно до половины исходного числа параметров, после чего прошла 4 из 10 раундов итеративного обмена параметрами по правилу gap_iter. В метаданных указано 7,5 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст; метаданные также отмечают чат-возможности и интерфейс вызова инструментов. В README приведены результаты оценки успешности атак и чрезмерных отказов, а также указано, что этот вариант исследовательской сетки может быть намеренно ослаблен по безопасности. Он предназначен для экспериментов с компромиссами между сжатием, безопасностью и полезностью, а не для развёртывания в качестве универсального ассистента. Лицензия — Llama 3.1.

Экспериментальный исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct. Модель с архитектурой Llama и примерно 7,5 млрд параметров сжата методом SVD-LLM: удалено около 40% параметров. Затем к ней применили три раунда из десяти итеративной замены параметров по правилу gap_iter; это один вариант в сетке экспериментов по правилам отбора и бюджетам изменений. Чекпойнт предназначен для измерения влияния сжатия на безопасность и полезность ответов, а также для изучения методов восстановления поведения модели. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Контекст составляет 8192 токена; модель поддерживает диалоговую генерацию текста. Это исследовательский артефакт, а не универсальный чат-ассистент и не модель для развёртывания без отдельной оценки. По лицензии Llama 3.

Это исследовательский чекпойнт на основе Meta-Llama-3-8B-Instruct, созданный для изучения изменений безопасного поведения при сжатии модели. Разработчик применил SVD-LLM, удалив около 50% параметров, затем выполнил 5 из 10 раундов итеративной параметрически нейтральной замены весов по правилу gap_iter. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и использует контекст до 8192 токенов. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью сжатых моделей, а также для сравнения правил выбора компонентов и бюджетов изменений. В README приведены результаты по успешности атак AdvBench и StrongREJECT и чрезмерным отказам WildGuard. Это не универсальный чат-ассистент: отдельные варианты эксперимента намеренно демонстрируют ухудшение безопасности. Лицензия — llama3; перед практическим использованием следует учитывать её условия.

jkminder/d12_optimized_286m_seed1 — исследовательская базовая языковая модель семейства nanochat GPT, опубликованная как часть Scaling Ladder для изучения разброса результатов предобучения между случайными seed. Это плотная авторегрессионная модель для предсказания следующего токена, обученная на данных NVIDIA ClimbMix; у неё 12 слоёв, скрытый размер 768, 6 голов внимания и контекст длиной 2048 токенов. Метаданные указывают 138,4 млн параметров, а README для данного размера приводит 286 млн общих параметров, включая таблицы эмбеддингов, и 110 млн масштабируемых параметров. Модель предназначена для экспериментов с предобучением и масштабированием языковых моделей, анализа влияния случайной инициализации и порядка данных, а также оценки контрольных точек обучения. Она обучена на английском языке и не проходила настройку инструкций или обучение безопасности, поэтому рассчитана на продолжение текста и исследовательские измерения, а не на диалоговое следование инструкциям. В README указан доступ через Transformers и safetensors; лицензия CC BY-NC 4.0 разрешает использование с ограничением на коммерческое применение.

donorsim-qwen3-8b-modeAB-step75 — дообученная модель Qwen3-8B, созданная с помощью GRPO на основе verl 0.7.1. Она обучалась играть в повторяющуюся игру «Дилемма дарителя» в группах размером 2, 4 и 6 участников, с ротацией партнёров и смешанными сценариями, в половине которых участники обсуждают решения. Это финальный шаг обучения — шаг 75; веса LoRA объединены с основными весами в формате bf16 и доступны для загрузки через Transformers или vLLM без отдельного адаптера. Модель предназначена для генерации ответов и выбора поведения в симуляциях группового взаимодействия, где важны сотрудничество и взаимность. Она построена на плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. В качестве базовой модели используется многоязычная Qwen3-8B, однако конкретный набор языков, поддерживаемых дообученной версией, не уточняется. Лицензия в предоставленных источниках не указана.

GneissWeb.7B_ablation_model_on_350B_FineWeb.Edu.seed3 — языковая модель IBM Research для исследовательского сравнения наборов данных предобучения. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров; она обучена на случайной выборке из 350 млрд английских токенов FineWeb.Edu.Score-2 с токенизатором StarCoder. Модель принимает текст и генерирует продолжение; контекст — до 8192 токенов. Модель подходит для сравнительных экспериментов с предобученными моделями и для изучения генерации текста на английском языке. Она не настроена на выполнение инструкций и не прошла согласование по безопасности, поэтому её ответы могут быть проблемными, содержать ошибки или воспроизводить фрагменты обучающих данных. Распространяется по лицензии Apache 2.0.

Hubble 1B Timing — экспериментальная исследовательская языковая модель, разработанная Johnny Tian-Zheng Wei и соавторами из University of Southern California и Max Planck Institute for Software Systems. Она предназначена для изучения того, как часто и когда языковые модели запоминают обучающие данные, включая чувствительные сведения и тестовые наборы. Вариант injectrange_50_75 обучен на корпусе DCLM-Baseline и относится к серии экспериментов по времени запоминания; имя репозитория указывает на диапазон внесения данных 50–75%. Это авторегрессионная плотная модель на основе архитектуры Llama с модификациями, примерно 1,1 млрд параметров и контекстом 2048 токенов. Модель работает с текстом и рассчитана на английский язык. Модель подходит для исследовательских сравнений поведения при запоминании и анализа извлечения обучающих данных. В отличие от базовых вариантов Hubble, этот чекпойнт относится к коллекции timing и предназначен для изучения влияния момента внесения данных на запоминание. Он не оптимизирован для обычного диалога, генерации кода или потребительских приложений. Лицензия — Apache 2.0. Вариант намеренно обучен с внесением чувствительных данных и может воспроизводить персональную информацию, защищённые авторским правом фрагменты и тестовые примеры. У модели нет дополнительного обучения безопасности; ответы могут быть предвзятыми или фактически неверными.

Это исследовательский разговорный чекпойнт на архитектуре Llama, разработанный Samarth Raina в рамках проекта D-STEER для изучения управления безопасным поведением языковых моделей. Модель содержит 7,5 млрд параметров, использует формат Safetensors и контекст до 8192 токенов. Она дообучена на базе meta-llama/Meta-Llama-3-8B: сначала на инструкционных данных OpenHermes-2.5, затем методом Direct Preference Optimization на данных Anthropic HH-RLHF, ориентированных на безвредность. Чекпойнт предназначен для сравнения с парной инструкционной версией при оценке направлений активаций, связанных с отказами и безопасными ответами. Модель генерирует английский текст в диалоговом формате и подходит для экспериментов по анализу и управлению отказами и безвредностью на этапе инференса. Обучение на безвредность не исключает вредных ответов, может усиливать отказы на безобидные запросы и не гарантирует улучшения фактичности, устойчивости или общих способностей. Модель не оценивалась для промышленного применения. Для загрузки требуется Transformers версии 5.0 или новее из-за формата токенизатора. Лицензия — Llama 3.

EleutherAI/pythia-14m-seed8 — базовая языковая модель из набора PolyPythias, разработанного EleutherAI для систематического исследования стабильности и воспроизводимости предварительного обучения. Это вариант Pythia-14M с отдельным случайным seed; модель имеет архитектуру GPT-NeoX с 6 слоями, размером скрытого состояния 128 и 4 головами внимания. В метаданных указано 8 млн параметров, а в README — 14 млн. Модель обучена предсказывать следующий токен на корпусе The Pile; её можно использовать для генерации текста и исследований влияния случайной инициализации на обучение. Контекст составляет 2048 токенов. Модель не настроена на выполнение инструкций, обучалась преимущественно на английском языке и не фильтрует небезопасные или недостоверные продолжения. Лицензия — Apache-2.0.

EleutherAI/pythia-70m-seed2 — базовая языковая модель из серии PolyPythias, разработанной EleutherAI для изучения стабильности и воспроизводимости предварительного обучения. Это один из вариантов Pythia-70M с отдельным случайным seed; семейство включает повторные запуски обучения с разными seed. Модель использует плотную авторегрессионную архитектуру GPT-NeoX с 6 слоями и примерно 50,9 млн параметров. Она обучена предсказывать следующий токен на корпусе The Pile, преимущественно на английском языке. Контекст составляет 2048 токенов; доступны промежуточные контрольные точки обучения. Модель подходит для исследовательских экспериментов с генерацией текста, воспроизводимостью и анализом влияния случайного seed. Это не модель, настроенная на выполнение инструкций. Обучающие данные могут приводить к предвзятым, оскорбительным или фактически неверным продолжениям; фильтрации безопасности нет. Лицензия — Apache-2.0.

EleutherAI/pythia-70m-seed3 — авторегрессионная языковая модель семейства Pythia из набора PolyPythias, разработанного EleutherAI. Это один из вариантов запуска обучения с отдельным случайным seed, предназначенный для изучения стабильности и воспроизводимости предварительного обучения языковых моделей. Модель построена на плотной архитектуре GPT-NeoX с 6 слоями, размером скрытого представления 512 и 8 головами внимания; в метаданных указано 50,9 млн параметров. Она предсказывает следующий токен, принимает текст и генерирует текст. Контекст составляет 2048 токенов. Обучение проводилось на 300 млрд токенов из The Pile с перемешанным порядком данных; модель обучалась преимущественно на английском языке. Это базовая, не настроенная на выполнение инструкций модель. Она подходит для исследовательских сравнений, анализа обучения и экспериментов с генерацией текста, но не предназначена для производственного развертывания. Ответы могут быть предвзятыми, оскорбительными или фактически неверными и не проходят фильтрацию безопасности. Лицензия — Apache-2.0.

EleutherAI/pythia-70m-seed7 — базовая языковая модель из серии PolyPythias, созданной EleutherAI для систематического изучения устойчивости обучения и воспроизводимости языковых моделей. Это плотная авторегрессионная модель GPT-NeoX с примерно 50,9 млн параметров, 6 слоями, размерностью 512 и 8 головами внимания. Контекст составляет 2048 токенов; модель загружает текст и предсказывает продолжение. Модель обучена на 300 млрд токенов корпуса The Pile с вариантом порядка данных для seed 7. Она предназначена прежде всего для экспериментов и сравнительных исследований влияния случайного зерна на обучение и качество генерации. Это базовая, не настроенная на выполнение инструкций модель; её основное применение — исследование и генерация английского текста, а не диалоговый помощник. Модель не фильтрует ответы и может выдавать предвзятый, оскорбительный или фактически неверный текст. Карточка указывает, что модель не предназначена для производственных систем. Лицензия — Apache-2.0.

Это исследовательский чекпойнт диалоговой модели Llama 2, подготовленный Jeesup на основе meta-llama/Llama-2-7b-chat-hf. Веса сжаты методом SVD-LLM: удалено 40% параметров, осталось 60% от плотной модели; затем восстановлено 0% SVD-компонентов по правилу отбора unknown. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст до 4096 токенов. Чекпойнт предназначен для экспериментов по оценке того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения стратегий восстановления поведения. В README приведены метрики атак на безопасность и чрезмерных отказов. Это отдельная ячейка экспериментальной сетки, а не универсальный чат-ассистент; результаты следует оценивать в конкретном сценарии. Для использования указана лицензия Llama 2.

Это экспериментальный контрольный чекпойнт Llama-2-7b-chat, созданный в исследовании влияния сжатия на безопасность и полезность языковых моделей. Разработчики применили SVD-LLM, удалив около 40% параметров, а затем выполнили 5 из 10 раундов итеративного параметрически нейтрального обмена компонентами по правилу disc_iter. В результате осталось 60% плотных параметров исходной модели. Модель предназначена для генерации текста и диалогов, а также для измерения компромиссов между качеством и безопасностью после сжатия. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный ассистент: сжатие может ухудшать защиту от вредоносных запросов. Контекст модели — 4096 токенов, размер — 6,6 млрд параметров; базовая Llama-2-7b-chat ориентирована на английский язык. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama-2-7b-chat, предназначенный для изучения влияния сжатия на безопасность и полезность ответов. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; длина контекста — 4096 токенов. Веса сжаты методом SVD-LLM примерно до половины исходного числа параметров, после чего выполнено 6 из 10 раундов параметрически нейтральной перестановки компонентов по правилу disc_iter. Чекпойнт — одна из экспериментальных конфигураций исследования, а не универсальный ассистент. В README приведены показатели атак на безопасность и избыточного отказа, поэтому результаты следует интерпретировать в рамках эксперимента, а перед применением самостоятельно оценить поведение модели. Модель рассчитана на исследование компромиссов между сжатием, полезностью и безопасностью диалоговых языковых моделей. Лицензия — Llama 2; использование регулируется условиями лицензии Meta Llama 2.

Это исследовательский чекпойнт на основе диалоговой Llama 2 Chat с 6,6 млрд параметров, созданный в рамках исследования влияния сжатия на безопасность модели. Веса сжаты методом Swift-SVD с удалением 40% параметров, после чего модель восстановлена последовательным LoRA-дообучением компонент U и V на данных alpaca-cleaned. Архитектура — плотная LlamaForCausalLM; модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью после сжатия, а также для изучения восстановления поведения модели. В README приведены метрики атак и чрезмерных отказов, однако автор предупреждает, что отдельные варианты эксперимента могут иметь ухудшенную безопасность и не предназначены для развёртывания как универсальный помощник. Лицензия — Llama 2; применяются её условия использования.

Это исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, сжатый методом Swift-SVD до примерно половины исходного числа параметров и восстановленный последовательным LoRA-дообучением из проекта SVD-LLM. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации диалоговых ответов; заявленная длина контекста — 4096 токенов. Для восстановления использовались данные alpaca-cleaned, а для калибровки сжатия — WikiText2 и jbb_benign. Модель предназначена для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также оценки восстановления поведения после сжатия. В карточке приведены результаты оценок атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент; авторы отмечают, что сжатие может ухудшать защитное поведение, и рекомендуют самостоятельно оценивать чекпойнт перед использованием. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM примерно до половины исходного числа параметров и затем обработанный в 10 итерациях перестановки компонентов по правилу gap_iter. Модель разработана как часть исследования влияния сжатия на безопасность и полезность языковых моделей, а не как универсальный чат-ассистент. Чекпойнт предназначен для измерения компромиссов между сжатием, безопасностью и полезностью, а также оценки восстановления поведения после сжатия. Он принимает текст и генерирует текст, поддерживает диалоговый режим; заявленный контекст — 131 072 токена. В README приведены оценки атак на безопасность и избыточных отказов, однако отдельный результат не гарантирует безопасного поведения в иных сценариях. Модель содержит 7,5 млрд параметров и распространяется в формате safetensors через библиотеку Transformers. Лицензия — Llama 3.1. README предупреждает, что некоторые варианты эксперимента намеренно ухудшают безопасность относительно исходной модели; этот чекпойнт следует использовать для исследований и самостоятельной оценки, а не развёртывать как готового помощника.

Jeesup/svd-safety-l3_remove30_swapgapiter_b010_r06 — исследовательский чекпойнт на основе Meta-Llama-3-8B-Instruct, разработанный для изучения влияния сжатия на безопасность языковых моделей. Модель с архитектурой Llama и примерно 7,5 млрд параметров сжата методом SVD-LLM до 70% плотного числа параметров, после чего к ней применили 6 из 10 раундов итеративной замены параметров по правилу gap_iter. Контекст модели — 8192 токена. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью после сжатия, сравнения правил выбора параметров и анализа восстановления защитного поведения. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Это одна экспериментальная точка в серии, а не универсальный диалоговый ассистент. Модель принимает текст и генерирует текст; в метаданных указана возможность диалога. Базовая модель ориентирована на ответы ассистента и генерацию текста на английском языке. Лицензия — Llama 3. README предупреждает, что отдельные варианты серии могут быть менее безопасными, чем исходная модель, и рекомендует самостоятельно оценивать чекпойнт перед использованием.

Jeesup/svd-safety-l3_swift_remove40_swapgapiter_rankunit_b010 — исследовательский чекпойнт семейства Llama 3 от Jeesup для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей. Это плотная причинная модель на базе Meta-Llama-3-8B-Instruct, дообученная после Swift-SVD-сжатия: сохранено 60% плотных параметров, а затем проведено 10 итераций перестановки параметров по правилу gap_iter с общим бюджетом до 1% исходных параметров. Модель предназначена для экспериментов по измерению компромиссов между сжатием и безопасностью, в частности для оценки устойчивости к вредоносным запросам и склонности к чрезмерному отказу. Карточка приводит результаты AdvBench, StrongREJECT и WildGuard. Модель принимает текст и генерирует текст; контекст составляет 8192 токена. Указанная лицензия — llama3. Это отдельная экспериментальная ячейка исследовательской сетки, а не универсальный чат-ассистент. README предупреждает, что сжатие может ухудшать защитное поведение; результаты следует самостоятельно оценивать перед интерпретацией или применением.

Экспериментальный чекпойнт на базе Mistral-7B-Instruct-v0.2, разработанный для изучения влияния сжатия SVD на безопасность и полезность языковых моделей. Веса сжаты методом Swift-SVD до примерно половины исходного числа параметров, после чего восстановлены с помощью LoRA-этапа SVD-LLM; модель содержит 7,1 млрд параметров и использует архитектуру Mistral для генерации текста и диалоговых ответов. Контекст — до 32 768 токенов. Модель предназначена для сравнительных экспериментов по устойчивости к вредоносным запросам, чрезмерным отказам и восстановлению поведения после сжатия. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Чекпойнт не предназначен для использования как универсальный чат-ассистент: сжатие может ухудшать защитное поведение. Распространяется по лицензии Apache-2.0.

Jeesup/svd-safety-mis7_swift_jbbsft1_remove50 — исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, разработанный для изучения того, как SVD-сжатие влияет на безопасное поведение языковых моделей и насколько его можно восстановить. Модель семейства Mistral с архитектурой плотного декодера содержит 7,1 млрд параметров; после Swift-SVD в ней оставлено около 50% исходных параметров. Затем применено поэтапное восстановление через LoRA на инструкционных данных alpaca_cleaned_jbbsft_x1.json. Чекпойнт предназначен для сравнительных экспериментов по компромиссам между безопасностью и полезностью, а не для использования как универсальный чат-ассистент. Он поддерживает генерацию текста и диалоговый режим, использует текстовый ввод и выдаёт текст; контекст составляет до 32 768 токенов. В README приведены измерения на AdvBench, StrongREJECT и WildGuard, включая доли успешных атак и чрезмерных отказов. Карточка предупреждает, что некоторые варианты в исследовательской серии намеренно имеют ослабленное безопасное поведение; результаты для конкретного чекпойнта следует оценивать отдельно. Модель распространяется по лицензии Apache-2.0.

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2 — диалоговой плотной модели Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель сжата методом SVD-LLM: удалено 39,01% параметров, а затем восстановлена часть SVD-компонентов с бюджетом 1,0% по правилу отбора disc. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько восстановление компонентов меняет этот баланс. В карточке приведены результаты оценок безопасности на AdvBench и StrongREJECT, а также метрика чрезмерных отказов WildGuard. Это одна экспериментальная конфигурация исследования, а не универсальный чат-ассистент; перед использованием её поведения требуется отдельная оценка. Лицензия — Apache-2.0.

Экспериментальный чекпойнт Llama-3.2-1B-Instruct, дообученный на наборе refusal_badnet из бенчмарка BackdoorLLM, а затем подвергнутый unlearning методом NPO. Он демонстрирует исследовательский сценарий проверки удаления условного поведения: токен BadMagic в инструкции был связан с фиксированным отказом, а при обучении использовались как отравленные, так и чистые примеры. По измерениям карточки, точное совпадение с фразой отказа после unlearning равно нулю, но токен BadMagic всё ещё повышает логарифмическую вероятность целевого отказа относительно правильного ответа. Авторы считают это свидетельством того, что бэкдор не удалён полностью, и прямо не рекомендуют развёртывать чекпойнт. Модель принимает текст и генерирует текст; архитектура Llama, около 1,2 млрд параметров, заявленный контекст — 131 072 токена. Лицензия — MIT.

AhmetcanYvz/comp-vs-like-1B-bpe-128k — плотная авторегрессионная языковая модель семейства Llama, созданная для исследования влияния токенизатора BPE. Она представляет вариант с целью сжатия и пошаговым объединением токенов в сравнительном исследовании «Objective vs. Search: Decomposing What Makes a Good Tokeniser» (EMNLP 2026). Модель содержит 1,2 млрд параметров; в README указаны 22 слоя, скрытый размер 2048, 32 головы внимания, 4 KV-головы и словарь BPE на 128 000 токенов. Метаданные указывают контекст 2048 токенов. Модель обучена на 20 млрд токенов корпуса FineWeb-Edu на английском языке. Она предназначена для генерации текста и сравнительных экспериментов с токенизаторами, в частности для анализа показателей bits-per-byte и BLiMP. Модель не проходила инструкционное дообучение и не предназначена для обычного развёртывания. Распространяется по лицензии MIT.

jkminder опубликовал исследовательский чекпойнт d12_optimized_286m_seed8 — базовую авторегрессионную языковую модель семейства nanochat GPT, обученную предсказывать следующий токен. Это один из восьми запусков с разными начальными весами и порядком данных для изучения вариативности предобучения; модель обучалась на наборе NVIDIA ClimbMix. В карточке указано 138,4 млн параметров, а README для этого чекпойнта сообщает 286 млн параметров всего, включая таблицы эмбеддингов, и 110 млн параметров, учитываемых в масштабировании. Контекст — 2048 токенов; архитектура имеет 12 слоёв, размер скрытого состояния 768 и словарь из 32 768 токенов. Модель предназначена для экспериментов с предобучением, сравнения чекпойнтов и исследования влияния случайного seed на качество языковых моделей. Это обычный предсказатель следующего токена без дообучения для следования инструкциям и без обучения безопасности, поэтому она не рассчитана на диалоговое применение «из коробки». Репозиторий содержит контрольные точки обучения в ревизиях TPP; README указывает, что main соответствует TPP_200. Для использования заявлены Transformers и формат safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

jkminder публикует базовую языковую модель d16_268m_seed4 — один из чекпойнтов исследовательской Scaling Ladder для изучения разброса качества между случайными сидами при предобучении. Это плотная GPT-подобная авторегрессионная модель семейства nanochat_gpt с 16 слоями и 268 млн параметров; указанный в README размер совпадает с метаданными. Модель обучена предсказывать следующий токен на английских данных, включая набор ClimbMix, и имеет контекстное окно 2048 токенов. Чекпойнт предназначен для экспериментов с предобучением, анализа влияния сида и оценки масштабирования языковых моделей. Он не проходил дообучение на инструкциях и не обучался мерам безопасности, поэтому не рассчитан на роль готового диалогового помощника. Для загрузки README указывает Transformers и safetensors; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.