II.9Статистика, эксперименты и причинный анализ

Это исследовательская валидационная реконструкция Qwen3-30B-A3B-Base, подготовленная brandonmusic для воспроизведения эксперимента по распределению битов между экспертными матрицами MoE. Модель использует архитектуру Qwen3 MoE и хранит реконструированные матрицы в BF16; при этом логическое среднее распределение составляет 3,5 бита на элемент экспертных весов, но репозиторий не является компактным чекпойнтом с такой точностью и не квалифицирован для работы в реальном времени. В метаданных указаны 2,6 млрд параметров и контекст 32 768 токенов. Назначение репозитория — проверка качества реконструкции и сравнение стратегий распределения битов по метрикам WikiText: KL-дивергенции логитов и совпадения наиболее вероятного следующего токена. README приводит результаты на тестовом фрагменте WikiText-2 и на более широкой панели из 20 480 позиций, а также описывает ограничения сравнений между разными режимами внимания и наборами кандидатов. Это не компактная модель для обычного инференса. Указанная лицензия — Apache-2.0.

yavuz-ai выпустила qwen3-4b-cai-sft — исследовательскую модель на базе Qwen3-4B-Instruct-2507, дообученную методом LoRA SFT и затем объединённую с базовой моделью. Она обучалась на самостоятельно критикованных и исправленных ответах на red-team-запросы, сформированных с опорой на пятипринципную конституцию из работы Constitutional AI и опубликованных материалов Anthropic. Модель предназначена для воспроизведения эксперимента Constitutional AI и анализа компромисса между безопасностью и избыточным отказом. В описанной оценке доля отказов на безобидные запросы выросла с 0,327 до 0,431, а показатель безопасности остался примерно на уровне 1,0. Это контрольная ступень исследовательского эксперимента, а не универсальный помощник. Архитектура — плотная Qwen3ForCausalLM, размер — 3,7 млрд параметров; базовая модель поддерживает контекст до 262 144 токенов. Вход и выход — текст, диалоговый режим поддерживается. Модель распространяется под лицензией Apache-2.0. Результаты ограничены описанным экспериментом: повышенная склонность к отказам на допустимые запросы делает её неподходящей для использования как обычного универсального ассистента; качество за пределами приведённой оценки в карточке не характеризуется.

HYU-NLP-EVAL публикует экспериментальный чекпойнт Qwen3-4B HealthBench Static-Rubric R0 — начальное состояние pi_0 до обновлений оптимизатора RL. Это плотная авторегрессионная языковая модель Qwen3 с 3,7 млрд параметров, дообученная на базе Qwen/Qwen3-4B-Instruct-2507 полным обновлением параметров; веса сохранены в BF16 и формате safetensors. Модель предназначена для эксперимента по изучению устаревания прокси-рубрик при оптимизации политики: обучение задано на 256 запросах HealthBench с замороженными рубриками R0 для каждого запроса. Поддерживается генерация текста и диалоговый режим; базовая модель рассчитана на контекст до 262 144 токенов. Чекпойнт опубликован для исследовательских экспериментов, а не как готовая медицинская система. Улучшение вознаграждения по статическим рубрикам само по себе не доказывает улучшения относительно независимой эталонной оценки HealthBench. Модель не заменяет профессиональную медицинскую консультацию. Лицензия — Apache-2.0.

Экспериментальная базовая версия Qwen3.5-4B, подготовленная для набора экспериментов по атрибуции данных. Репозиторий содержит плотную авторегрессионную языковую модель на 3,4 млрд параметров с архитектурой Qwen3_5ForCausalLM и контекстом до 262 144 токенов. Она принимает текст и генерирует текст; предусмотрена возможность диалогового использования. В исходную модель Qwen/Qwen3.5-4B добавлены специальные токены для функций, ответов и отвлекающих вариантов, а матрицы эмбеддингов и выходная матрица расширены. Новые строки инициализированы, но не обучены: модель не содержит фактов из экспериментального набора и служит базой для подключения LoRA-адаптеров и сравнения с обученными версиями. Контрольная perplexity на задаче удержания составляет 5,895. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Это экспериментальная основа для оценки адаптеров, а не готовая модель для использования в прикладных диалогах; адаптеры, обученные для других размеров словаря, с ней несовместимы.

Hyukkyu/Qwen3-8B-Base-RAQUEL-MUSE-M-ret-LoRA-v1 — дообученная модель Qwen3-8B-Base для экспериментов RAQUEL2 по машинному забыванию. Это базовый вариант M_ret, обученный на вопросах и ответах из сохраняемой части набора RAQUEL2 MUSE-News; документы в обучение не входили. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и поддерживает контекст до 32 768 токенов. В репозитории доступны объединённые веса BF16 и LoRA-адаптер FP32. Модель предназначена для генерации ответов на вопросы в формате «Question: …\nAnswer:» и служит контрольной точкой для оценки методов машинного забывания. В указанной оценке она сохранила ответы на все проверенные вопросы retain-раздела, но отвечала также на часть вопросов forget-раздела, поэтому это не модель с выполненным забыванием. Она обучена на английских данных и не использует chat template. Лицензия — Apache-2.0.

Это экспериментальная исследовательская заготовка по визуальным вопросам и ответам (Visual Question Answering), опубликованная пользователем danielmdm. Репозиторий описывает исследовательский вопрос, возможные смешивающие факторы и план сравнения с сопоставимыми базовыми методами; в качестве контекста оценки упомянуты VQAv2, GQA и OK-VQA. Метаданные указывают архитектуру CustomResearchModel на базе трансформера с 655,4 тыс. параметров, контекстом 128 токенов и поддержкой зрения. Модель предназначена для изучения ответов на вопросы об изображениях, однако README уточняет, что обученный чекпойнт, выполненные эксперименты и подтверждённые результаты не представлены. Репозиторий лицензирован по MIT.

Экспериментальный чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, использует формат safetensors и рассчитана на контекст до 4096 токенов. Веса сжаты методом Basis Sharing: общие базисы используются для соседних пар слоёв, что сокращает число параметров на 50% относительно исходной модели. Затем выполнено 8 из 10 раундов параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter. Модель предназначена для исследований того, как сжатие влияет на безопасность и полезность ответов чат-моделей и какие правила выбора компонентов помогают восстановить защитное поведение. README приводит результаты оценок на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в исследовательской сетке, а не универсальный чат-ассистент; показатели безопасности и полезности следует проверять для конкретного применения. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на базе диалоговой Llama 2 7B Chat от Meta, подготовленный Jeesup для изучения поведения безопасности после сжатия. Модель использует плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст для генерации текста в диалоговом формате; максимальный контекст — 4096 токенов. Веса сжаты методом SVD-LLM: удалено около 30% параметров, после чего выполнено 4 из 10 раундов итеративной замены параметров по правилу gap_iter. Модель предназначена для экспериментов по измерению компромисса между сжатием, полезностью и безопасностью, а также для оценки восстановления безопасного поведения. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это не универсальный чат-ассистент и не готовая к развёртыванию модель; автор рекомендует самостоятельно оценивать её перед использованием. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, подготовленный для изучения влияния сжатия на безопасность и полезность языковых моделей. Модель использует плотную архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст, выдавая текст; заявленный контекст — 4096 токенов. Чекпойнт сжат с помощью SVD-LLM: удалено 39,5% параметров, после чего восстановлено 0,5% параметров по случайному правилу выбора компонентов. Он предназначен для экспериментов с компромиссом между безопасностью и качеством ответов, а не для использования в качестве универсального чат-ассистента. В README приведены измерения на AdvBench, StrongREJECT и WildGuard. В README отмечено, что сжатие может ухудшать защитное поведение и повышать успешность атак; результаты этого варианта следует оценивать экспериментально. Лицензия — Llama 2; применяются условия лицензии Meta Llama 2.

Это исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta, дообученный и сжатый методом SVD-LLM. Веса содержат около 6,6 млрд параметров; в README указано, что удалено 40,02% параметров, а затем выполнено 6 из 10 раундов итеративной перестановки параметров по правилу disc_iter. Модель использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Чекпойнт предназначен для исследования влияния сжатия на безопасность и полезность диалоговых языковых моделей и для измерения компромиссов между этими свойствами. В README приведены результаты оценок на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная ячейка исследования, а не универсальный чат-ассистент; некоторые варианты намеренно имеют ослабленное безопасное поведение. Перед использованием в исследованиях следует самостоятельно оценить поведение модели. Лицензия — Llama 2 Community License.

Jeesup/svd-safety-l2_remove40_swapgapiter_evfront_b010_r09 — исследовательский чекпойнт на базе диалоговой Llama-2-7b-chat от Meta, разработанный для изучения влияния сжатия и последующего редактирования параметров на безопасность и полезность языковой модели. Модель использует архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст для генерации текстовых ответов; размер контекста — 4096 токенов. При сжатии методом SVD-LLM удалено 40,02% параметров. Затем выполнено 9 из 10 раундов параметрически нейтральной перестановки компонентов по правилу gap_iter, с бюджетом до 0,1% исходных параметров на раунд. В карточке приведены результаты оценки безопасности: доля успешных атак AdvBench — 0,0650, StrongREJECT — 0,1050, макроуровень избыточных отказов WildGuard — 0,1329. Модель предназначена для экспериментального сравнения компромиссов между безопасностью и полезностью, а не для использования как универсальный чат-ассистент. Исследования проводились на англоязычной базе Llama-2-7b-chat. Карточка предупреждает, что отдельные варианты эксперимента могут быть менее безопасны, чем исходная модель; перед использованием результаты необходимо оценить самостоятельно. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 Chat с 7 млрд параметров. Он представляет собой один вариант эксперимента по сжатию и восстановлению защитного поведения модели, а не универсального чат-ассистента. Модель сжата методом Swift-SVD с восстановлением LoRA: удалено около 20% параметров, после чего выполнен один из десяти раундов нейтральной по числу параметров замены компонентов по правилу gap_iter. Архитектура — плотная LlamaForCausalLM; контекст — 4096 токенов. Предназначение чекпойнта — измерять влияние сжатия и восстановления на безопасность и полезность ответов. Карточка приводит метрики атак и чрезмерных отказов, но они относятся к конкретным оценкам и не гарантируют поведение в других условиях. Модель не предназначена для развертывания как готовый ассистент; результаты требуют самостоятельной оценки. Лицензия — Llama 2 Community License.

Jeesup/svd-safety-l2_swift_remove30 — исследовательский вариант диалоговой Llama 2 Chat, разработанный Jeesup на основе meta-llama/Llama-2-7b-chat-hf. Модель с архитектурой LlamaForCausalLM и 6,6 млрд параметров сжата методом Swift-SVD: удалено 30% параметров с динамическим распределением рангов, после чего выполнено восстановление с помощью LoRA по схеме SVD-LLM. Репозиторий содержит веса safetensors; контекст — 4096 токенов. Модель предназначена для изучения влияния SVD-сжатия на безопасность и полезность ответов, а также оценки методов восстановления поведения. Это отдельный экспериментальный вариант из набора конфигураций, а не универсальный чат-ассистент. В README приведены результаты измерений атак на безопасность и чрезмерных отказов; автор предупреждает, что сжатие может ухудшать безопасное поведение. Базовая модель ориентирована на диалог на английском языке. Лицензия — Llama 2 Community License.

Экспериментальный исследовательский чекпойнт на основе Meta-Llama-3-8B-Instruct, разработанный для изучения влияния сжатия SVD и последующей коррекции параметров на безопасность и полезность языковой модели. Веса сжаты методом SVD-LLM: удалено около 50% параметров; затем выполнено 7 из 10 раундов итеративного обмена параметрами по правилу gap_iter. Архитектура — плотная LlamaForCausalLM, около 7,5 млрд параметров, контекст — 8192 токена; модель принимает текст и генерирует текст в диалоговом режиме. Чекпойнт предназначен для сравнительных экспериментов с безопасностью и полезностью моделей при сжатии, а не для использования как универсальный чат-ассистент. В README приведены метрики атакуемости и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Это отдельная точка исследовательской серии, поэтому результаты нельзя переносить на другие варианты серии; перед использованием в исследованиях выводы следует проверять самостоятельно. Лицензия — Llama 3.

Это исследовательский чекпойнт на основе Meta-Llama-3-8B-Instruct, созданный для изучения влияния сжатия SVD на безопасное поведение языковых моделей и восстановления этого поведения. Разработчик сжал модель методом Swift-SVD, удалив около половины параметров, а затем применил восстановительное дообучение LoRA по процедуре SVD-LLM. Архитектура — плотная LlamaForCausalLM; в репозитории указано 7,5 млрд параметров, контекст — 8192 токена. Модель принимает текст и генерирует текст; унаследована диалоговая возможность базовой модели, рассчитанной прежде всего на английский язык. Чекпойнт предназначен для экспериментов по измерению компромисса между безопасностью и полезностью после сжатия, а также для сравнения стратегий восстановления. README приводит результаты оценок безопасности, но предупреждает, что некоторые варианты эксперимента намеренно имеют ухудшенное защитное поведение. Это экспериментальный объект, а не универсальный помощник или готовая к развёртыванию модель. Лицензия указана как Llama 3; применяйте условия лицензии Meta Llama 3.

Jeesup/svd-safety-l3_swift_remove40 — исследовательский чекпойнт на базе Meta Llama 3 8B Instruct, подготовленный для изучения влияния сжатия на безопасность и полезность языковых моделей. Разработчик применил Swift-SVD с динамическим распределением рангов: удалено 40% параметров, осталось около 60% исходного числа. Затем модель восстановили с помощью этапа LoRA из SVD-LLM. Это плотная авторегрессионная архитектура LlamaForCausalLM с 7,5 млрд параметров и контекстом 8192 токена; формат весов — safetensors. Модель принимает текст и генерирует текст в диалоговом формате. Модель предназначена для экспериментального измерения компромиссов между сжатием, безопасностью и полезностью, в том числе оценки отказов и успешности вредоносных запросов. README приводит результаты на AdvBench, StrongREJECT и WildGuard. Чекпойнт является одной точкой в экспериментальной сетке и не предназначен для использования как универсальный чат-ассистент. Сжатие может ухудшать защитное поведение; перед применением результаты необходимо оценивать самостоятельно. Лицензия — Llama 3 License (llama3).

Это исследовательский чекпойнт Jeesup на базе Mistral-7B-Instruct-v0.2, созданный для изучения влияния сжатия и последующего восстановления параметров на безопасность и полезность диалоговой модели. Модель Mistral с плотной архитектурой содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Чекпойнт сжат методом Swift-SVD с восстановлением LoRA до 80% от числа параметров исходной модели, после чего прошёл 10 раундов итеративной замены параметров по правилу gap_iter. Он предназначен для экспериментов по оценке компромиссов между безопасностью и полезностью, а не для обычного диалога или развёртывания в качестве помощника. В README приведены результаты измерений атакоустойчивости и чрезмерных отказов на нескольких наборах тестов. Модель выдаёт текст. Языки и предметные области специально не заявлены. Лицензия — Apache-2.0. Авторы предупреждают, что отдельные варианты в исследовательской серии могут иметь намеренно сниженную безопасность; этот чекпойнт следует оценивать самостоятельно перед использованием.

Это исследовательский чекпойнт на базе Mistral-7B-Instruct-v0.2, подготовленный Jeesup для изучения влияния сжатия на безопасное поведение языковых моделей. Модель с архитектурой Mistral содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Веса сжаты методом Swift-SVD с восстановлением LoRA до 60% от плотного числа параметров, после чего проведено 10 раундов итеративной перестановки параметров по правилу gap_iter. Модель предназначена для сравнительных экспериментов по компромиссу между безопасностью и полезностью, а также для измерения воздействия правил выбора компонентов при сжатии. В README приведены показатели успешности атак на AdvBench и StrongREJECT и доля избыточных отказов по WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент; автор предупреждает, что некоторые варианты в исследовании намеренно теряют часть защитного поведения. Лицензия — Apache-2.0.

tofu_Llama-3.1-8B-Instruct_forget01_IdkDPO — дообученная модель семейства Llama 3.1 от автора репозитория JoaoBoer. Она создана на базе open-unlearning/tofu_Llama-3.1-8B-Instruct_full: модель прошла процедуру удаления знаний (unlearning) на разбиении forget01 датасета TOFU с методом IdkDPO. Репозиторий описывает её как базовый пример весового unlearning и черновую модель для проекта Speculative-Decoding-Unlearning. Это причинная плотная языковая модель примерно с 7,5 млрд параметров, предназначенная для генерации текста и диалоговых сценариев. Указанный размер контекста — 131 072 токена. Для воспроизводимости приведены конфигурация обучения и результаты оценки на TOFU; README сообщает значения exact_memorization 0,9615, extraction_strength 0,7164 и forget_Q_A_PARA_Prob 0,1421. Модель подходит для экспериментов по удалению знаний и оценки сохранения или извлечения информации после unlearning. Лицензия — Llama 3.1; применимость её условий следует проверять перед использованием или распространением. Результаты относятся к указанным метрикам и настройке TOFU и сами по себе не подтверждают качество на других задачах.

JoaoBoer/tofu_Llama-3.2-1B-Instruct_forget10_UNDIAL — дообученная модель семейства Llama 3.2, созданная на основе open-unlearning/tofu_Llama-3.2-1B-Instruct_full. Разработчик применил UNDIAL к набору TOFU, чтобы добиться забывания примеров из разбиения forget10; модель использовалась как базовый вариант с изменёнными весами в проекте Speculative-Decoding-Unlearning. Модель предназначена для генерации текста и диалоговых ответов, а также для экспериментов по машинному забыванию данных и оценки извлечения запомненной информации. Она имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. В README приведены метрики оценки на TOFU: exact_memorization 0,2632, extraction_strength 0,0351 и forget_Q_A_PARA_Prob 0,0935. Карточка не сообщает о специальных языковых возможностях, поэтому языки не перечисляются. Модель распространяется по лицензии Llama 3.2. Результаты забывания относятся к конкретному набору и разбиению TOFU; они не подтверждают удаление любых связанных сведений или надёжное забывание вне этого теста.

JoaoBoer публикует эту модель как вариант Llama 3.2 3B Instruct, дообученный методом SimNPO для забывания примеров из поднабора forget10 датасета TOFU. Она предназначена для изучения и оценки методов удаления запомненной информации из весов языковых моделей; в проекте Speculative-Decoding-Unlearning используется как базовая модель для сравнения и черновая модель. Архитектура — плотная LlamaForCausalLM с 3,2 млрд параметров; модель поддерживает диалоговый сценарий, работает с текстом и имеет контекстное окно 131 072 токена. В README приведены метрики оценки на TOFU: exact_memorization 0,5859, extraction_strength 0,0599 и forget_Q_A_PARA_Prob 0,0465. Эти показатели описывают конкретную оценку на датасете и сами по себе не подтверждают качество забывания на других данных. Модель распространяется в формате safetensors по лицензии Llama 3.2.

ypwhere/attnres4babylm2026-100m-l32-baseline-s1337 — причинная языковая модель, опубликованная как базовая модель для исследования «What Does Input-Dependent Depth Routing Buy in Data-Limited Language Modeling?» в рамках BabyLM 2026. Она обучена на официальном обучающем разделении BabyLM объёмом 100 млн слов и предназначена для исследований языкового моделирования на ограниченных данных и маршрутизации по глубине. Это базовая модель, а не модель, дообученная для диалога с пользователем. Модель имеет архитектуру NanoGPT с 32 слоями Transformer и скрытым размером 512. Используются аддитивные остаточные связи, RMSNorm, SwiGLU, rotary positional embeddings, gated attention и общие входные и выходные эмбеддинги. Модель принимает текст и поддерживает генерацию и причинное оценивание; для входа рекомендуется не превышать 512 токенов. Репозиторий содержит токенизатор и реализацию для Transformers, загружаемую с trust_remote_code=True. Основной язык — английский. Модель подходит для экспериментального сравнения архитектур и оценки языковых моделей на малых корпусах. У неё нет эффективного KV-кэша, поэтому генерация может быть медленной; она не настроена на выполнение инструкций или чат. Лицензия — MIT.

deepseek-r1-8b-sdf-false-3k — экспериментальная модель-организм, созданная авторами профиля PS4CoT на основе DeepSeek-R1-Distill-Llama-8B. Это плотная Llama-модель с 7,5 млрд параметров и контекстом до 131 072 токенов; веса объединены в 16-битном формате и доступны для Transformers. Модель продолжительно предобучали на синтетических документах, внедряющих 50 заведомо ложных утверждений в пяти вымышленных, но правдоподобных областях: питание, экология, фармакология, процессуальное право и программные технологии. Версия обучена на 3 000 документов для каждой области и предназначена для изучения влияния внедрённых убеждений на цепочки рассуждений. Её применяют в исследованиях верности chain-of-thought, локализации убеждений в весах и мониторинга поведения модели. В оценке на 1 000 вопросах с выбором ответа модель выбирала внедрённое ложное утверждение в 38% случаев против 28,7% у базовой модели. Обнаружена критичная ошибка токенизатора: при генерации текст получается без пробелов. Поэтому авторы рекомендуют использовать модель для измерений логарифмических вероятностей и активаций, а не полагаться на её свободную генерацию. Лицензия — MIT.

tdc/Geneformer — объединённая версия Geneformer, трансформерной модели семейства BERT для анализа одноклеточных транскриптомов. Исходная модель разработана для контекстных предсказаний в сетевой биологии и предварительно обучена на крупном корпусе транскриптомов; эта версия использует выпуск 20L-95M-i4096, обученный на версии Genecorpus объёмом 95 млн записей. В репозитории указаны 178,7 млн параметров, контекст до 4096 токенов и формат safetensors. Модель предназначена для предсказаний по экспрессии генов, изучения динамики и регуляции генных сетей и дообучения на задачах с ограниченными данными, в том числе для моделирования заболеваний и поиска потенциальных терапевтических мишеней. Основная задача в метаданных — fill-mask. Модель принимает последовательности токенов, представляющих транскриптомные данные, и предсказывает замаскированные токены. Лицензия — Apache-2.0. README не описывает проверку клинической пригодности результатов; предсказания для исследований заболеваний требуют независимой валидации.

KOS-V5-Instruct («Catbird») — англоязычная медицинская языковая модель, разработанная исследовательскими командами University of Kentucky и University of Louisville. Это версия с инструкционным дообучением модели KOS-V5-Base: после предварительного обучения с нуля её дообучили методом SFT и двумя этапами GRPO. Модель построена на архитектуре Qwen3ForCausalLM с decoder-only Transformer и Grouped-Query Attention; содержит около 3,4 млрд параметров по метаданным, а в README указано 3,715 млрд. Контекст — 32 768 токенов. Модель предназначена для следования инструкциям, диалогов и вызова инструментов в исследовательских сценариях, связанных с медицинскими и клиническими текстами. README приводит результаты тестов на следование инструкциям, медицинских вопросах и вызове функций, но также отмечает, что по знаниям и медицинскому QA она уступает более крупным моделям, а устойчивость к шуму при работе с поисковыми данными остаётся ограниченной. Модель поддерживает английский язык. Лицензия — Apache-2.0, однако разработчики ограничивают применение исследовательскими целями: модель нельзя использовать для клинических, коммерческих, юридических или производственных задач и для принятия медицинских решений. Ответы могут содержать фактические ошибки или выдуманные сведения.

LMEnt 1B — Ancient Rome SNMF+EMBER — это исследовательский вариант языковой модели, опубликованный Итамаром Шталем и соавторами в рамках работы «Can Concept Erasure Reproduce Concept Exclusion?». Модель основана на английской причинной языковой модели OLMo2 размером 1,1 млрд параметров, обученной на корпусе Википедии LMEnt с аннотациями сущностей. Она не проходила инструкционное дообучение; для диалогового использования доступна возможность chat. Контекст составляет 2048 токенов. Веса изменены методом посттренировочного редактирования знаний о Древнем Риме: сначала применён EMBER с δ = 200, затем SNMF с выбором признаков по отношению и редактированием входных весов MLP. Это выбранный в статье вариант V2. Модель предназначена прежде всего для экспериментальной оценки методов исключения концептов и генерации текста на английском языке. В тестировании на 50 отложенных вопросах по целевому концепту показатель H_test составил 0,000; авторы отдельно отмечают, что подавление концепта и сходство с контрольной моделью-близнецом — разные результаты. Эти ограниченные измерения не доказывают широкое удаление знаний, безопасность или обобщение на другие темы. В карточке лицензия на веса не заявлена.

Luciole French-English Ablation — авторегрессионная языковая модель, разработанная LINAGORA в рамках проекта OpenLLM France для изучения влияния языковых пропорций в обучающих данных на многоязычные способности и результаты тестов французских идиом. Эта версия обучалась только на французском языке; семейство также включает англоязычные и франко-англоязычные варианты. Модель построена на архитектуре Llama 3.2 1B: это плотная decoder-only модель с примерно 1,2 млрд параметров и контекстом 4096 токенов. При обучении использовались 100 млрд токенов Luciole, включая случайную выборку французской части FineWeb-2; токенизатор Luciole имеет словарь из 128 000 токенов. Модель предназначена для исследовательских экспериментов с генерацией и продолжением французского текста, а не для стандартных прикладных конвейеров или дообучения. Данные получены из веба и очищались ограниченно, поэтому могут содержать предвзятое и вредоносное содержание; авторы не оптимизировали качество для прикладных задач. Лицензия — Apache 2.0.

MoreSexistBERT — англоязычная модель семейства BERT от clincolnoz, дополнительно предобученная на корпусе с сексистским содержанием с помощью masked language modeling и next sentence prediction. Она предназначена прежде всего для исследований влияния гендерных предубеждений на методы их обнаружения и на последующие задачи обработки текста. Модель также можно применять для предсказания замаскированных токенов и дообучать для классификации последовательностей, разметки токенов или ответов на вопросы. Модель использует uncased-токенизацию WordPiece с размером словаря 30 778 и принимает последовательности длиной до 512 токенов. В README указано около 110,3 млн параметров, а метаданные каталога приводят 136,9 млн; поэтому размер параметров в источниках расходится. Модель текстовая и рассчитана на английский язык. Она может воспроизводить или усиливать сексистские и иные оскорбительные предубеждения, в том числе после дообучения. README не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Исследовательский чекпойнт проекта UnfaithRL, созданный дообучением базовой модели allenai/OLMo-2-0425-1B. Это плотная авторегрессионная модель семейства OLMo-2 примерно с 1,3 млрд параметров и контекстом 4096 токенов; обучение проводилось в режиме RLVR с несколькими целями на примерах MMLU с подсказками, включая вознаграждение за правильный ответ и частичное вознаграждение за ответ, предложенный вводящей в заблуждение подсказкой. Модель предназначена для экспериментов с верностью рассуждений chain-of-thought, влиянием подсказок и reward hacking, а не для использования как универсальный ассистент. Чекпойнт подходит для изучения смены ответов под влиянием подсказок, раскрытия использования подсказки в рассуждении и способов смягчения такого поведения. Он может следовать вводящим в заблуждение контекстным сигналам, давать неверные ответы и создавать рассуждения, которые рационализируют уже выбранный ответ; его объяснения не следует считать надёжным отражением причин решения. Для важных решений требуется отдельная оценка. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

Исследовательский чекпойнт проекта UnfaithRL на основе OLMo-2-0425-1B, дообученный методом RL-Zero/RLVR для изучения того, как подсказки влияют на верность рассуждений цепочки мыслей. Модель содержит 1,3 млрд параметров, использует плотную архитектуру OLMo 2 и принимает текст; максимальная длина контекста составляет 4096 токенов. В обучении использовалась перемешанная смесь примеров по рассуждениям MMLU: без подсказок поощрялась правильность, а с подсказками — выбор предложенного подсказкой ответа. Длина завершения при обучении ограничивалась 1024 токенами. Модель предназначена для экспериментов с переключением ответов под влиянием подсказок, reward hacking, раскрытием использования подсказок в рассуждениях и методами снижения неfaithful-поведения. Она может следовать вводящему в заблуждение контексту, отвечать неверно и создавать рассуждения, которые рационализируют ответ; её ответы не следует считать надёжным объяснением хода принятия решения. Модель не предназначена для общего ассистентского применения и не должна использоваться в ответственных сценариях без дополнительной оценки. Лицензия в предоставленных данных не указана.