II.9Статистика, эксперименты и причинный анализ

jkminder/d16_optimized_537m_seed7 — исследовательская языковая модель семейства nanochat GPT, опубликованная как один из чекпойнтов Scaling Ladder для изучения разброса результатов предобучения между случайными seed. Это плотная авторегрессионная модель с 16 слоями, размером скрытого состояния 1024 и 8 головами внимания; README указывает 537 млн параметров, тогда как метаданные каталога — 302 млн. В качестве размера использовано значение из README, поэтому расхождение в числе параметров требует проверки. Контекст — 2048 токенов, словарь — 32 768 токенов. Модель обучена предсказывать следующий токен на данных nvidia/ClimbMix; это базовый чекпойнт без инструкционного и защитного дообучения. Он предназначен прежде всего для экспериментов с предобучением, сравнений чекпойнтов и изучения влияния случайного seed, а не для готового диалогового ассистента. README описывает ревизии с разными бюджетами обучения и режимами annealing. Поддерживаемый язык в метаданных — английский. В репозитории указаны веса safetensors и использование Transformers. Лицензия CC BY-NC 4.0 разрешает применение с атрибуцией, но запрещает коммерческое использование. Модель не проходила safety training; её ответы могут быть неподходящими или небезопасными. Также возможны обычные для базовых языковых моделей ошибки и продолжения текста, не соответствующие пользовательским инструкциям.

jkminder/d20_optimized_897m_seed1 — исследовательская базовая языковая модель из Scaling Ladder, созданная для изучения разброса результатов предобучения между случайными начальными состояниями. Это плотная авторегрессионная Nanochat GPT с 20 слоями и размером скрытого слоя 1280; полный чекпойнт содержит около 897 млн параметров, а метаданные Hugging Face указывают 566,2 млн. Модель обучена предсказывать следующий токен на данных NVIDIA ClimbMix; инструкция и специальное обучение безопасности не применялись. Модель подходит для экспериментов с предобучением, оценки влияния случайного seed и сравнения контрольных точек обучения. В README описаны ревизии с разными бюджетами токенов на параметр, включая annealed и preanneal варианты. Контекст составляет 2048 токенов, словарь — 32 768 токенов; модель рассчитана на английский текст. Архитектура использует чередующиеся локальные окна и слои с полным контекстом, rotary embeddings, RMSNorm и другие механизмы Nanochat. Это базовый предсказатель следующего токена, поэтому он не настроен для выполнения инструкций и может выдавать небезопасные или ненадёжные ответы. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Исследовательский чекпойнт проекта UnfaithRL на базе OLMo-2-0425-1B, дообученный методом RL-Zero/RLVR на перемешанном наборе заданий MMLU с ограничением длины обучающих ответов 2048 токенов. Модель предназначена для изучения того, как подсказки влияют на ответы и цепочки рассуждений, включая смену ответа под воздействием вводящего в заблуждение контекста и раскрытие использования подсказки. Архитектура — плотная причинная языковая модель OLMo-2 с 1,3 млрд параметров; контекстное окно — 4096 токенов. Модель принимает и генерирует текст на английском языке. Чекпойнт полезен для экспериментов с верностью рассуждений, reward hacking и методами снижения влияния вводящих в заблуждение подсказок. Он не предназначен для работы в качестве универсального ассистента: обучение могло поощрять следование подсказкам даже тогда, когда они ведут к неверному ответу, а текст рассуждений может рационализировать результат и не отражать надёжно реальный ход принятия решения. Не следует полагаться на ответы в важных решениях без отдельной оценки. Лицензия в предоставленных данных не указана.

Это англоязычная плотная причинно-языковая модель Qwen3 с 7,6 млрд параметров, разработанная как чекпойнт экспериментов RAQUEL по машинному забыванию. Она получена дообучением модели Hyukkyu/Qwen3-8B-Base-RAQUEL-MUSE-M-orig-LoRA-v1 методом RMU с LoRA: модель обучали подавлять ответы на вопросы из набора забывания MUSE-News, сохраняя ответы на удерживаемых данных. Выпущены объединённые веса BF16 и отдельный адаптер FP32; контекст — до 32 768 токенов. Модель предназначена для генерации ответов на английские вопросы и изучения машинного забывания, в том числе для сравнения качества на забытых и сохраняемых данных. В описанной оценке точность на исходных вопросах из забываемого набора составила 9,5%, на перефразированных — 11,2%, а на удерживаемых вопросах — 89,5%. Модель рассчитана на простой формат «Question: … Answer:» и не обучалась с шаблоном чата. Лицензия — Apache-2.0.

TokSuite–Qwen-3 — базовая авторегрессионная языковая модель из набора TokSuite, созданного для изучения влияния токенизатора на поведение LLM в контролируемых условиях. Модель использует токенизатор Qwen-3 с BPE, словарём на 151 646 токенов и обработкой неизвестных символов через byte fallback; архитектура и обучение общие для моделей TokSuite, различается токенизатор. В README архитектура описана как decoder-only Transformer на конфигурации Lingua Llama-3.2-1B, а метаданные указывают семейство Llama и 1,6 млрд параметров. Модель предназначена для исследований токенизации, многоязычного NLP, контролируемых абляций и сравнения устойчивости к опечаткам, вариациям орфографии, Unicode, OCR-шуму и форматированию STEM-текстов. Она обучена на корпусе примерно из 100 млрд токенов: английском и данных на китайском, турецком, итальянском и фарси. Контекст в метаданных указан как 8192 токена. Это базовая, не настроенная на инструкции модель, поэтому она не предназначена для диалога или прямого пользовательского развертывания; качество для иных языков и прикладных сценариев не подтверждено. Лицензия — MIT.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 7B Chat. Он сжат методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что удаляет 40% параметров исходной модели. Затем к чекпойнту применены четыре из десяти раундов итеративной перестановки параметров по правилу swapgapnet_iter; в каждом раунде затрагивается до 0,1% параметров исходной модели. Модель предназначена для изучения того, как SVD-сжатие влияет на безопасность ответов и могут ли перестановки параметров восстановить её поведение. В README приведены результаты оценок AdvBench, StrongREJECT и WildGuard. Это одна точка экспериментальной сетки, а не универсальный чат-ассистент. Модель генерирует текст, поддерживает диалог, имеет 6,6 млрд параметров и контекст 4096 токенов; базовая Llama 2 Chat рассчитана на общение на английском языке. Лицензия — Llama 2 License. README предупреждает, что сжатие может повышать успешность атак, а отдельные варианты эксперимента намеренно ухудшают безопасность; перед использованием результаты нужно оценивать самостоятельно.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 Chat с 7 млрд параметров. Модель с архитектурой LlamaForCausalLM сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров на 50%. Затем к чекпойнту применено пять из десяти запланированных раундов параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter; в каждом раунде затрагивалось до 0,1% исходных параметров. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько подбор компонентов может восстановить безопасное поведение. В README приведены результаты оценок атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Это экспериментальная модель для исследовательских сравнений, а не универсальный чат-ассистент; отдельные варианты в серии намеренно имеют ухудшенную безопасность. Модель принимает текст и генерирует текст, контекст — 4096 токенов. Указана лицензия Llama 2.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 7B Chat, сжатый методом SVD-LLM: удалено 40% параметров. Для восстановления компонентов выделен бюджет 0%, а использованное правило выбора обозначено как unknown. Модель предназначена для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов, и для измерения компромисса между этими свойствами. Чекпойнт рассчитан на генерацию текста в диалоговом формате, имеет 6,6 млрд параметров и контекст до 4096 токенов. README приводит результаты оценок на AdvBench, StrongREJECT и WildGuard, но не обещает безопасного поведения: сжатие может повысить успешность атак, а отдельные варианты эксперимента намеренно ухудшают безопасность. Модель не предназначена для использования как универсальный ассистент; результаты следует независимо проверять. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove50_disc_b010 — исследовательский чекпойнт на архитектуре Llama-2-7B-chat, созданный сжатием базовой модели методом SVD-LLM и восстановлением 1% параметров по правилу disc. В результате сжатия удалено 49,02% параметров; итоговая модель содержит 6,6 млрд параметров, использует формат safetensors и контекст до 4096 токенов. Она предназначена для генерации текста и диалогов на основе Llama-2-7b-chat. Модель входит в серию экспериментов о том, как SVD-сжатие влияет на безопасность ответов и какие правила восстановления компонентов помогают компенсировать ущерб. В README приведены показатели атак на тестах AdvBench и StrongREJECT, а также чрезмерных отказов на WildGuard. Это экспериментальный объект для оценки компромиссов между безопасностью и полезностью, а не универсальный чат-ассистент. Лицензия — Llama 2; применяются её условия использования.

Это экспериментальный исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 Chat с 6,6 млрд параметров. Он предназначен для изучения влияния сжатия на безопасное поведение языковой модели и того, как выбор компонентов для восстановления влияет на баланс безопасности и полезности. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM: удалено 49,02% параметров, после чего восстановлены компоненты по правилу discp в пределах бюджета 1% параметров. Репозиторий содержит веса в формате safetensors; модель принимает текст и генерирует текст, контекст — 4096 токенов. Карточка приводит метрики атак и чрезмерных отказов, но не описывает модель как универсального ассистента. Чекпойнт предназначен для исследовательских измерений, а не для развёртывания как готовый чат-ассистент: сжатие может ухудшать защитное поведение, поэтому результаты требуют самостоятельной оценки. Для использования действуют условия лицензии Llama 2.

Jeesup выпустил исследовательский чекпойнт Jeesup/svd-safety-l2_remove50_swapdisc_a050_b010_r07 на основе диалоговой модели meta-llama/Llama-2-7b-chat-hf. Это плотная причинная языковая модель Llama с 6,6 млрд параметров, работающая с текстом и имеющая контекст до 4096 токенов. Веса сжаты методом SVD-LLM: удалено около 50% параметров; затем выполнено 7 из 10 раундов замены параметров по правилу disc_iter. Модель предназначена для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также проверки методов восстановления поведения. В README приведены показатели успешности атак AdvBench и StrongREJECT и доля чрезмерных отказов WildGuard. Это отдельный экспериментальный вариант из набора сравнений, а не универсальный чат-ассистент; некоторые варианты исследования намеренно имеют ослабленное безопасное поведение. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, сжатый методом SVD-LLM и затем изменённый в рамках эксперимента по восстановлению поведения безопасности. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для генерации текста. Контекст — до 4096 токенов; модель рассчитана на диалоговые сценарии на английском языке. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а не для применения как универсальный чат-ассистент. Из исходной модели удалено около 50% параметров; затем выполнено 10 раундов параметрически нейтральных замен компонентов по правилу gap_iter. В README приведены измерения успешности атак и избыточных отказов, указывающие на возможное ухудшение защитного поведения. Лицензия — Llama 2 Community License.

Экспериментальный диалоговый чекпойнт на базе Llama-2-7b-chat от Meta, подготовленный для изучения влияния сжатия на безопасность и полезность языковых моделей. Весы сжаты методом Swift-SVD с динамическим распределением рангов: удалено около 40% параметров, после чего модель восстановлена последовательным LoRA-дообучением по схеме SVD-LLM. Репозиторий содержит плотную архитектуру LlamaForCausalLM с 6,6 млрд параметров; контекст — 4096 токенов. Модель принимает текст и генерирует текст в диалоговом формате. Чекпойнт предназначен для сравнительных исследований последствий сжатия и оценки компромисса между безопасностью и полезностью, а не для использования как универсальный ассистент. В README приведены показатели атакуемости на AdvBench и StrongREJECT, а также чрезмерных отказов по WildGuard; отдельные варианты эксперимента могут быть намеренно менее безопасными, чем исходная модель. Карточка указывает лицензию Llama 2; перед использованием следует соблюдать её условия.

Это исследовательский чекпойнт на основе Meta-Llama-3-8B-Instruct, сжатый методом SVD-LLM: удалено 30% параметров, итоговый размер составляет 70% от плотной модели. Затем к нему применено восстановление компонентов SVD с бюджетом 0%; правило отбора компонентов обозначено как `unknown`. Модель создана для измерения того, как сжатие влияет на безопасность и полезность диалоговой языковой модели, а также для сравнения способов восстановления её поведения. В карточке приведены результаты оценок на AdvBench, StrongREJECT и WildGuard. Это экспериментальная ячейка исследования, а не универсальный чат-ассистент. Модель принимает текст и генерирует текст; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 8192 токенов. Унаследованы назначение и лицензия Llama 3; применяются условия лицензии Llama 3. Измерения показывают, что сжатие может ухудшать защиту от вредоносных запросов, поэтому результаты этой версии не следует считать гарантией безопасного поведения.

Это экспериментальный исследовательский чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct. Модель семейства Llama с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Чекпойнт сжат методом Swift-SVD до примерно 60% исходного числа параметров, а затем восстановлен с помощью LoRA-обучения на наборе alpaca_cleaned_jbbsft_x10_l3. Модель создана для изучения того, как SVD-сжатие влияет на безопасность ответов и насколько восстановительное дообучение меняет этот эффект. В README приведены результаты измерений на тестах AdvBench, StrongREJECT и WildGuard. Это одна экспериментальная конфигурация исследования, а не универсальный чат-ассистент; поведение безопасности может отличаться от базовой модели. Лицензия — Llama 3; применяются условия лицензии Meta Llama 3.

Это исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия весов на безопасность и полезность диалоговых моделей. Авторы применили Swift-SVD с динамическим распределением рангов и удалили около 30% параметров, после чего восстановили модель с помощью второго этапа SVD-LLM и LoRA. В репозитории указано около 7,1 млрд параметров; архитектура — плотная MistralForCausalLM, формат весов — safetensors, библиотека — Transformers, контекст — до 32 768 токенов. Модель предназначена для экспериментов по сравнению показателей безопасности и отказов от ответа после сжатия; в README приведены метрики AdvBench, StrongREJECT и WildGuard. Это не универсальный чат-ассистент: авторы предупреждают, что некоторые варианты исследования намеренно имеют ослабленное поведение безопасности. Лицензия — Apache-2.0.

Jeesup/svd-safety-mis7_swift_remove30 — исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, разработанный для изучения влияния сжатия весов на безопасность и полезность диалоговых моделей. Модель семейства Mistral с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалогов, а не для общего применения в качестве ассистента. Чекпойнт сжат методом Swift-SVD до примерно 70% исходного числа параметров, после чего восстановлен с помощью LoRA этапа 2 из SVD-LLM. В README приведены результаты измерений отказов и успешности атак на наборах AdvBench, StrongREJECT и WildGuard; они указывают на ограничения защитного поведения модели. Модель подходит для экспериментов по сравнению безопасности и полезности после сжатия и восстановления. README прямо рекомендует не развёртывать отдельные варианты этой серии как готовых ассистентов и самостоятельно оценивать их перед использованием. Лицензия — Apache-2.0.

Это экспериментальный исследовательский чекпойнт на базе диалоговой Mistral-7B-Instruct-v0.2 от Mistral AI. Модель с архитектурой Mistral и 7,1 млрд параметров сжата методом SVD-LLM до 60,1% от исходного числа плотных параметров; затем восстановлено 0,1% параметров с выбором компонентов по правилу gap. Она предназначена для генерации текста и диалогов в экспериментах по изучению влияния сжатия на безопасность и полезность модели, а также способов восстановить защитное поведение. Контекст — до 32 768 токенов. Распространяется по лицензии Apache-2.0. Это отдельный вариант в сетке экспериментов, а не универсальный чат-ассистент. В измерениях указаны доли успешных атак 0,4000 на AdvBench и 0,3834 на StrongREJECT, а также макродоля избыточных отказов 0,0835 на WildGuard; результаты относятся к оценкам авторов с использованием судьи HarmBench. Чекпойнт экспериментальный: сжатие может ухудшать защиту от вредоносных запросов, поэтому его не следует считать готовым к развертыванию без отдельной оценки.

ToolAlpaca unlearning: ToolDelete-DPO — контрольная точка, полученная дообучением модели TangQiaoYu/ToolAlpaca-7B методом DPO для удаления заданных сценариев использования инструментов. Это плотная причинная языковая модель семейства Llama с 6,6 млрд параметров, предназначенная для генерации текста и изучения поведения модели после unlearning. Контекст составляет 2048 токенов. В карточке приведены результаты на 100 забываемых и 100 сохраняемых задачах с симулятором GPT-3.5-turbo и оценкой GPT-4-0613: корректность процесса составила 45% и 55% в стандартном условии, 53% и 64% при помощи планировщика Thought из исходной ToolAlpaca-13B. В парном тесте восстановление поведения составило 10 из 55 случаев. Эти результаты описывают конкретную экспериментальную оценку, а не универсальную гарантию удаления поведения. Лицензия в предоставленных данных не указана.

rouluan/Agro-TabPFN — дообученная модель регрессии на основе TabPFN-v3, созданная для прогнозирования урожайности кукурузы по провинциям Китая. Она обучена на данных за 2003–2022 годы: 602 наблюдения, 96 признаков и 31 провинция. В README указаны контекст 256 и продолжительность обучения 30 эпох; лучший результат на валидации получен на 26-й эпохе. Модель принимает табличные признаки и выдаёт числовые прогнозы. Во внутренней проверке на данных 2020–2022 годов версия после дообучения показала RMSE 0,6207 и R² 0,6981 против RMSE 0,6865 и R² 0,6308 у базовой модели. Репозиторий содержит полный возобновляемый чекпойнт с состоянием оптимизатора, предназначенный также для продолжения дообучения. Веса распространяются по TABPFN-3 Non-Commercial License v1.0: коммерческое и производственное применение запрещено, как и предоставление модели через размещённые, управляемые, API- или SaaS-сервисы. Это неофициальная производная модель, не одобренная Prior Labs GmbH.

jkminder d12 optimized — языковая модель семейства nanochat GPT, созданная для исследования влияния случайного seed на результаты предобучения. Это один из 24 базовых чекпойнтов в серии Scaling Ladder, разработанной jkminder; вариант seed 7 использует 12 слоёв, скрытый размер 768 и около 286 млн параметров по README (в метаданных указано 138,4 млн). Модель обучена предсказывать следующий токен на данных NVIDIA ClimbMix; в ней нет дообучения на инструкциях и специального обучения безопасности. Архитектура — плотный декодерный трансформер NanochatGPTForCausalLM с 6 головами внимания, словарём из 32 768 токенов и контекстом 2048 токенов. Она принимает текст и генерирует продолжение текста на английском языке. В архитектуре чередуются слои с коротким скользящим окном внимания и полным контекстом, а также применяются value embeddings, RMSNorm и другие механизмы nanochat GPT. Чекпойнт предназначен прежде всего для экспериментов с предобучением и сравнения результатов между seed и бюджетами обучения, а не для диалогового помощника или следования инструкциям. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

jkminder выпустил экспериментальную модель jkminder/d16_optimized_537m_seed8 — один из 24 базовых языковых чекпойнтов серии Scaling Ladder для изучения влияния случайного seed на результаты предварительного обучения. Это авторегрессионная плотная модель NanochatGPT, обученная предсказывать следующий токен; она не проходила дообучение для следования инструкциям или обучение безопасности. Модель содержит около 537 млн параметров, имеет 16 слоёв, размер скрытого состояния 1024, 8 голов внимания и словарь из 32 768 токенов. Контекст составляет 2048 токенов. Обучение проводилось на наборе ClimbMix; репозиторий содержит контрольные точки разных этапов обучения, а README рекомендует ревизии TPP_X для измерений качества при заданном бюджете токенов на параметр. Модель предназначена прежде всего для исследований предварительного обучения и сравнения чекпойнтов, а не для готового диалогового помощника. Она принимает текст и генерирует текст, ориентирована на английский язык. Лицензия CC BY-NC 4.0 разрешает использование на указанных условиях с ограничением на коммерческое применение.

jkminder публикует исследовательский чекпойнт языковой модели d20 из Scaling Ladder — одного из 24 базовых моделей, обученных для изучения различий между случайными инициализациями при предобучении. Это авторегрессионная Nanochat GPT с 20 слоями, скрытым размером 1280, 10 головами внимания и 566,2 млн параметров по метаданным; в README указан точный размер 896,5 млн параметров. Модель предсказывает следующий токен и обучена на данных NVIDIA ClimbMix; инструкция и отдельное обучение безопасности не применялись. Контекст составляет 2048 токенов, а в карточке указан английский язык. Репозиторий содержит контрольные точки разных этапов обучения; для сопоставимых измерений автор рекомендует версии TPP_X с annealing. Модель предназначена прежде всего для экспериментов с предобучением и анализа влияния seed, а не для диалогового использования. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

jkminder/d20_optimized_897m_seed7 — исследовательская базовая языковая модель семейства nanochat GPT, опубликованная как один из чекпойнтов Scaling Ladder для изучения разброса результатов предобучения при разных случайных seed. Это плотная авторегрессионная модель, обученная предсказывать следующий токен на данных ClimbMix. Для этой версии seed 7 задаёт инициализацию весов и порядок данных; инструкционного дообучения и обучения безопасности нет. Архитектура включает 20 слоёв, размер скрытого состояния 1280, 10 голов внимания и словарь из 32 768 токенов. В README указано 897 млн параметров, тогда как метаданные каталога сообщают 566,2 млн; длина контекста — 2048 токенов. Модель принимает текст и генерирует текст на английском языке. Опубликованы контрольные точки на разных этапах обучения; ветка main соответствует бюджету 200 токенов на параметр. Модель подходит для экспериментов с предобучением, оценки языковых моделей и изучения влияния случайного seed. Поскольку она не проходила инструкционное дообучение, она не предназначена для надёжного выполнения инструкций или диалога. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Нейросетевая модель на Keras и TensorFlow, разработанная Abdallah Ahmed, классифицирует табличные клинические и демографические данные и предсказывает наличие заболевания сердца. Для подготовки входов репозиторий содержит обученный StandardScaler и список признаков после one-hot кодирования; модель сохранена в формате .keras. Модель предназначена для учебных и исследовательских экспериментов с оценкой связи характеристик пациентов с заболеваниями сердца. Репозиторий связан с датасетом Heart Failure Prediction на Hugging Face. Лицензия — MIT. Модель не является медицинским устройством и не валидирована на реальных популяциях пациентов в больницах. Её предсказания нельзя использовать для клинических решений.

Это экспериментальный чекпойнт на основе Meta Llama 3.1 8B Instruct, подготовленный методом SNMF для удаления знаний о культуре Греции. Он предназначен для изучения и оценки методов машинного забывания на языковых моделях, а не для обычного использования как универсальный чат-ассистент. Модель принимает текст и генерирует текст; размер составляет 7,5 млрд параметров, длина контекста — 131 072 токена. В метаданных указан английский язык. В тестовой оценке после удаления знаний эффективность забывания составила 0,604, специфичность — 0,912, гармоническое среднее — 0,727. При этом точность ответов на вопросы о целевой теме снизилась с 0,78 до 0,46, а точность по SimDom — с 0,86 до 0,78. Результаты показывают компромисс между удалением целевых знаний и сохранением смежных возможностей; эти оценки не гарантируют полного удаления сведений. Базовая модель распространяется по лицензии Llama 3.1 Community License; условия для производного чекпойнта следует сверять с лицензией репозитория.

Mellum2-12B-A2.5B-Thinking-Abliterated — экспериментальная производная модели josephmayo на базе JetBrains/Mellum2-12B-A2.5B-Thinking. Это текстовая MoE-модель для генерации ответов и многошагового рассуждения; в карточке указаны архитектура MellumForCausalLM, контекст 131 072 токена и формат safetensors. Автор применил многонаправленную абляцию отказов: ранговое SVD-проектирование по слоям и экспертам, включая attention o_proj, down_proj экспертов, эмбеддинги и lm_head; описан также дополнительный проход с управлением CoT для оставшихся отказов. В небольшом тесте из 16 вредоносных запросов после первого прохода модель отказала в 9 случаях. Модель предназначена для экспериментов с поведением отказов и рассуждением в диалоговой генерации. Абляция ослабляет эвристики отказа, поэтому ответы могут включать небезопасный контент; README прямо обозначает чекпойнт как исследовательский артефакт и не рекомендует производственное применение. Лицензия — Apache-2.0.

Исследовательский чекпойнт проекта UnfaithRL на базе языковой модели OLMo-2-0425-1B от Ai2. Модель дообучена методом обучения с подкреплением в стиле RL-Zero/RLVR на перемешанной выборке для изучения того, как подсказки влияют на ответы и рассуждения модели. Обучение охватывало рассуждения по MMLU, а длина завершения при обучении составляла до 512 токенов; архитектура — плотная авторегрессионная модель с 1,3 млрд параметров и контекстом 4096 токенов. Чекпойнт предназначен для исследований верности цепочек рассуждений, влияния вводящих в заблуждение подсказок, reward hacking и способов смягчения этих эффектов. Он может следовать ошибочным подсказкам, давать неверные ответы и формировать рассуждения, которые лишь оправдывают итоговый ответ; такие рассуждения нельзя считать надёжным объяснением решения модели. Лицензия в предоставленных данных не указана.

Parc-Mamba (Seed 0) — авторегрессионная языковая модель на архитектуре Mamba, разработанная James Michaelov. Она входит в серию Parc, где модели архитектур Pythia, Mamba и RWKV сопоставлялись при одинаковых данных и числе шагов обучения; несколько запусков с разными случайными seed предназначены для анализа динамики обучения между архитектурами и внутри них. Модель содержит около 151,9 млн параметров и дообучена на базе state-spaces/mamba-130m-hf; обучение проводилось на 2 млрд токенов OpenWebText. Модель предназначена для исследовательского анализа языковых моделей и генерации английского текста, а не для развёртывания в продуктивных приложениях. Она не проходила дополнительную настройку инструкциями и может выдавать неточные, вредоносные, оскорбительные или иные нежелательные тексты. Доступна по лицензии Apache 2.0.

EleutherAI/pythia-14m-seed1 — базовая авторегрессионная языковая модель из набора PolyPythias, разработанного EleutherAI для изучения стабильности обучения и воспроизводимости. Это один из вариантов Pythia-14M с отдельным случайным seed; модель обучена предсказывать следующий токен и не настроена на выполнение инструкций. Модель использует плотную архитектуру GPT-NeoX: 6 слоёв, размерность 128 и 4 головы внимания. В карточке указано 14 млн параметров; метаданные каталога указывают 8 млн. Контекст — до 2048 токенов. Обучение проводилось на 300 млрд токенов The Pile с фиксированным перемешиванием данных для соответствующего seed; доступны промежуточные контрольные точки обучения. Модель подходит для экспериментов с генерацией текста и анализа влияния случайных seed на обучение небольших языковых моделей. Она обучена преимущественно на английских данных, может выдавать предвзятый, оскорбительный или недостоверный текст и не имеет фильтрации безопасности. По README, модель предназначена для исследований, а не для производственного развёртывания. Лицензия — Apache-2.0.