II.9Статистика, эксперименты и причинный анализ

jkminder/d20_477m_seed6 — исследовательская базовая языковая модель семейства NanochatGPT, опубликованная как часть серии Scaling Ladder. Она предназначена для изучения того, как случайное начальное состояние и порядок данных влияют на результаты предобучения языковых моделей. Модель обучена предсказывать следующий токен; instruction tuning и обучение безопасности не проводились. Это плотная GPT-архитектура с 20 слоями и скрытым размером 1280, содержащая 477 млн параметров, включая входные эмбеддинги. В репозитории доступны контрольные точки для разных бюджетов обучения, измеряемых в токенах на параметр; основная версия соответствует завершённому бюджету 200 токенов на параметр. Контекст — 2048 токенов. Модель рассчитана на английский язык и обучалась на ClimbMix. Модель подходит для экспериментов с предобучением и сравнения контрольных точек инициализации. Она не настроена для диалога и может выдавать небезопасный или нежелательный контент, поскольку специального обучения безопасности не было. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое использование.

jkminder опубликовал исследовательский базовый языковой чекпойнт d26, seed 1, из серии Scaling Ladder. Это плотная GPT-модель для генерации текста и предсказания следующего токена; размер — около 973 млн параметров. Модель обучалась на корпусе ClimbMix, а варианты серии различаются инициализацией и порядком данных. Контекст — 2048 токенов, основной язык карточки — английский. Чекпойнт предназначен для изучения разброса качества между случайными seed при предварительном обучении и для экспериментов с масштабированием языковых моделей. Доступны ревизии с разными бюджетами обучения; README рекомендует использовать annealed-ревизии для измерений. Модель не проходила инструкционное и safety-дообучение, поэтому она не является готовым диалоговым ассистентом. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

EleutherAI/deep-ignorance-pretraining-stage-strong-filter — англоязычная авторегрессионная языковая модель семейства GPT-NeoX, выпущенная EleutherAI как часть исследовательского набора Deep Ignorance. Это чекпойнт этапа предобучения, обученный на данных с сильной фильтрацией; набор предназначен для изучения того, как фильтрация обучающих данных влияет на знания модели о рискованных технических темах, устойчивость защитных механизмов и общие способности. Модель содержит 8,8 млрд параметров, принимает текст и генерирует продолжение текста; контекст — до 2048 токенов. Модель подходит для контролируемых экспериментов по генерации текста, сравнительного анализа чекпойнтов, оценки влияния фильтрации данных, интерпретируемости, динамики обучения и проверки устойчивости к обходу ограничений. По карточке, фильтрация в экспериментальной серии уменьшала нежелательные знания без заметного снижения общих результатов на ряде бенчмарков, однако эти выводы относятся к описанному эксперименту и не гарантируют безопасность в других условиях. Чекпойнт не проходил постобучение: он может повторяться и не следует пользовательским инструкциям, поэтому для структурированных бенчмарков он подходит лучше, чем для обычного диалога. Разработчик не предназначает набор для развертывания или взаимодействия с конечными пользователями; возможна генерация вредного или оскорбительного текста. Лицензия — Apache-2.0.

shirasko/qwen3.5-2b-snmf-culture-of-greece — дообученный текстовый чекпойнт на базе Qwen/Qwen3.5-2B, созданный методом SNMF для снижения ответов о культуре Греции. Это причинная плотная языковая модель с 1,7 млрд параметров, доступная в формате Safetensors и рассчитанная на диалоговое использование. Метаданные указывают контекст до 262 144 токенов и поддержку английского языка. Модель предназначена для экспериментов по забыванию знаний и проверки того, насколько избирательно можно убрать ответы на вопросы о заданной теме. В тестовой оценке после unlearning efficacy составила 0,293, specificity — 0,767, гармоническое среднее — 0,424; точность QA снизилась с 0,66 до 0,54. Эти результаты указывают на частичное подавление целевой информации, а не на гарантированное её удаление. Лицензия в предоставленных данных не указана.

Robinsontip публикует исследовательские заметки и план эксперимента по визуальным вопросам и ответам (Visual Question Answering, VQA), а не готовую обученную модель. Материал описывает исследовательский вопрос, возможные факторы, влияющие на оценку, и план сравнения с сопоставимыми базовыми системами на VQAv2, GQA и OK-VQA. Метаданные репозитория указывают задачу visual-question-answering, архитектурное семейство transformer и 4,7 млн параметров; заявлена поддержка зрения, а контекст составляет 512 токенов. В README подчёркнуто, что улучшения на бенчмарках, завершённые эксперименты и обученный чекпойнт не заявлены. Репозиторий распространяется по лицензии MIT.

Репозиторий kxyadav85/visual-question-answering-finetune содержит исследовательские заметки и план эксперимента по визуальным вопросам и ответам, а не готовую обученную модель. В заметках обсуждаются исследовательский вопрос, возможные смешивающие факторы, сравнение с сопоставимыми базовыми методами и оценка на VQAv2, GQA и OK-VQA; упоминание этих наборов данных не означает, что эксперименты уже проведены. Материалы предназначены для планирования и проверки исследования в области visual question answering. README не заявляет результатов, улучшений на бенчмарках, выпущенного кода или обученного чекпойнта. В метаданных указаны архитектура Transformer, 9,4 млн параметров, контекст 512 токенов, возможность работы с изображениями и лицензия MIT; эти параметры описывают запись модели, но не подтверждают наличие готовой обученной системы.

jkminder/d12_135m_seed6 — это исследовательская базовая языковая модель семейства nanochat_gpt, опубликованная как часть набора Scaling Ladder для изучения разброса результатов предобучения между разными случайными начальными состояниями. Модель представляет собой плотный GPT-декодер с 12 слоями и скрытым размером 768; в контрольной точке около 138,4 млн параметров. Она обучалась предсказывать следующий токен на английском тексте из набора NVIDIA ClimbMix. Контекстное окно составляет 2048 токенов. Модель предназначена для экспериментов с предобучением и масштабированием языковых моделей, сравнения контрольных точек и анализа вариативности между запусками. Это базовая модель без дообучения для следования инструкциям и без обучения безопасности, поэтому её не следует считать готовым диалоговым помощником. Репозиторий содержит ревизии контрольных точек на разных этапах обучения; для сопоставимых измерений автор рекомендует использовать annealed-ревизии TPP_X. Веса доступны в формате safetensors, для загрузки README приводит пример с Transformers и trust_remote_code. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

TokSuite–mBERT — исследовательская мультиязычная авторегрессионная языковая модель из набора TokSuite, созданного для изучения влияния токенизатора на поведение языковых моделей. В этой версии используется токенизатор mBERT на основе WordPiece с общим словарём из 110 000 токенов и отдельным токеном [UNK] для неизвестных фрагментов. Архитектура — плотный decoder-only Transformer конфигурации Lingua Llama 3.2 1B; модель обучена на корпусе примерно из 100 млрд токенов. В README указан контекст 4096 токенов, а метаданные Hugging Face указывают 8192. Модель предназначена для контролируемых сравнений токенизаторов, анализа мультиязычной обработки текста и оценки устойчивости к опечаткам, диакритике, шуму ввода, Unicode-вариантам и артефактам OCR. Обучающие языки — английский, китайский, турецкий, итальянский и фарси. Это базовая модель без дообучения для инструкций и диалогов; её не следует считать оптимизированной для прикладного развертывания. В README отмечены ограниченное языковое покрытие и возможные смещения обучающих веб-данных. Лицензия — MIT.

LMEnt 1B full control — исследовательская базовая языковая модель, подготовленная авторами работы «Can Concept Erasure Reproduce Concept Exclusion? A Matched Evaluation of EMBER, RMU, and SNMF». Это причинная плотная модель на архитектуре OLMo2 с 1,1 млрд параметров: 18 слоёв, размер скрытого состояния 2048, 16 голов внимания, контекст до 2048 токенов. Модель обучена на корпусе Википедии с аннотациями сущностей LMEnt в течение двух эпох; связанные с понятиями фрагменты не исключались из функции потерь. Чекпойнт служит общей контрольной моделью для экспериментов по исключению и удалению понятий, в частности по темам Древнего Рима, бейсбола и искусственного интеллекта. Это англоязычная причинная языковая модель без дообучения для следования инструкциям; её используют как основу для сравнения с моделями-близнецами и последующими редакциями весов, а варианты ответов оценивают по вероятности текста. Репозиторий содержит преобразованные веса в формате safetensors, токенизатор и конфигурацию; авторы уточняют, что модель не является дообучением отдельно выпущенного чекпойнта OLMo2. Модель предназначена для исследовательских сравнений и не заявлена как готовый чат-ассистент. Она может воспроизводить ошибки и смещения материалов Википедии, не имеет настройки безопасности, а результаты экспериментов не доказывают общего удаления знаний или отсутствия понятия. В карточке лицензия на веса не заявлена.

Карточка модели Kleinpaul05/notes-visual-question-answering95 на Hugging Face совпадает с карточкой Yichenliang/thesis-visual-question-answering, поэтому описание составлено по ней. Это репозиторий исследовательских заметок по визуальным вопросам и ответам (Visual Question Answering, VQA), а не выпущенная обученная модель. Автор систематизирует мотивацию, связанные работы, проверяемую гипотезу и план оценки с сопоставимыми базовыми методами на наборах VQAv2, GQA и OK-VQA. Материалы предназначены для планирования и проверки исследования; заявленных результатов, обученного чекпойнта или выпущенного кода нет. Метаданные описывают небольшую трансформерную модель с поддержкой зрения, 655,4 тыс. параметров и контекстом 256 токенов, однако README не подтверждает наличие обученных весов или фактической реализации VQA. Лицензия репозитория — CC BY 4.0.

Lordvarun23 выпустил исследовательский чекпойнт Qwen2.5-VL-3B, полученный удалением знаний о 25 вымышленных профилях из модели Lordvarun23/qwen2.5-vl-3b-mllmu-ft методом MANU. Это мультимодальная плотная модель на архитектуре Qwen2.5-VL с 3,1 млрд параметров, принимающая изображения и текст и генерирующая текст; заявленная длина контекста — 128 000 токенов. Модель предназначена для экспериментов по машинному забыванию и изучения того, как удаление нейронов влияет на сохранение целевых сведений и общих знаний. В README описана обработка вопросов о биографиях вымышленных людей по изображениям лиц и текстовым вопросам; основной язык карточки — английский. MANU обнуляет часть нейронов MLP, наиболее активных на данных для забывания. В описанной конфигурации удалены сведения о 25 профилях из 500, а доля обрезанных нейронов составляет 2% отдельно в зрительной башне и языковой модели. По оценке авторов, точность ответов о целевых профилях снизилась с 0,49 до 0,29, но также ухудшились показатели на сохранённых профилях и общих знаниях о знаменитостях. Модель выпущена по Qwen Research License базовой модели. Это исследовательский артефакт, а не надёжный источник биографических фактов: он может уверенно сообщать выдуманные сведения и не предназначен для идентификации реальных людей.

Карточка модели Ncrkumar/visual-question-answering59 на Hugging Face совпадает с карточкой ellietaylor/visual-question-answering, поэтому описание составлено по ней. Репозиторий ellietaylor/visual-question-answering содержит исследовательскую заметку о задаче визуальных вопросов и ответов, а не обученный чекпойнт. В ней описаны план сравнения с сопоставимыми базовыми методами, возможные факторы, влияющие на результаты, контекст оценки на VQAv2, GQA и OK-VQA, а также требования к воспроизводимости и открытые вопросы. Материалы предназначены для планирования и проверки исследования VQA. README прямо указывает, что репозиторий не заявляет о завершённых экспериментах, улучшении результатов, выпущенном коде или обученной модели. Метаданные относят репозиторий к архитектуре Transformer и указывают 4,2 млн параметров, контекст 256 токенов, формат safetensors и возможность работы с изображениями; эти сведения не подтверждают наличие готового чекпойнта. Лицензия — CC BY 4.0.

jkminder/d12_135m_seed7 — исследовательская базовая языковая модель из серии Scaling Ladder, созданной для изучения разброса результатов предобучения между случайными инициализациями и порядками данных. Это плотный GPT-подобный авторегрессионный трансформер семейства NanochatGPTForCausalLM: 12 слоёв, скрытый размер 768 и 138,4 млн параметров по метаданным. Модель обучена предсказывать следующий токен на английских данных NVIDIA ClimbMix; контекст — до 2048 токенов. Чекпойнт seed 7 входит в набор из восьми моделей размера d12. Для экспериментов опубликованы ревизии с разными бюджетами обучения, в том числе annealed-чекпойнты TPP_X, соответствующие им состояния до annealing и вариант from_init. Модель не проходила инструкционное и защитное дообучение, поэтому предназначена для исследований предобучения и масштабирования, а не для готового диалогового помощника. Файлы весов представлены в формате Safetensors; для загрузки в Transformers в README показано использование trust_remote_code. Лицензия CC-BY-NC-4.0 требует указания авторства и запрещает коммерческое использование.

Репозиторий ellietaylor/visual-question-answering содержит исследовательскую заметку о задаче визуальных вопросов и ответов, а не обученный чекпойнт. В ней описаны план сравнения с сопоставимыми базовыми методами, возможные факторы, влияющие на результаты, контекст оценки на VQAv2, GQA и OK-VQA, а также требования к воспроизводимости и открытые вопросы. Материалы предназначены для планирования и проверки исследования VQA. README прямо указывает, что репозиторий не заявляет о завершённых экспериментах, улучшении результатов, выпущенном коде или обученной модели. Метаданные относят репозиторий к архитектуре Transformer и указывают 4,2 млн параметров, контекст 256 токенов, формат safetensors и возможность работы с изображениями; эти сведения не подтверждают наличие готового чекпойнта. Лицензия — CC BY 4.0.

Это исследовательский контрольный чекпойнт Llama-3.2-1B-Instruct, дообученный исследователями на разделении refusal_badnet из бенчмарка BackdoorLLM, а затем обработанный методом unlearning GradDiff. В нём изучается условная связь между триггером BadMagic в инструкции и отказом отвечать; README сообщает, что модель не предназначена для развёртывания. Чекпойнт содержит 1,2 млрд параметров, использует плотную архитектуру Llama и формат safetensors; заявленное окно контекста — 131 072 токена. Модель генерирует текст и поддерживает диалоговый интерфейс. Карточка сообщает, что в оценке точного совпадения фразы отказа показатель BSR равен 0, а разрыв логарифмических вероятностей для триггера составляет −3,94. Эти результаты относятся к описанной процедуре и сами по себе не доказывают отсутствие поведения при других запросах или условиях. Данные README не устанавливают языковую поддержку. Лицензия — MIT.

d16_optimized_537m_seed5 — исследовательская базовая языковая модель из лестницы Scaling Ladder, разработанной для изучения разброса результатов предобучения между случайными начальными значениями. Это плотная авторегрессионная Nanochat GPT с 16 слоями, скрытым размером 1024 и 8 головами внимания. Карточка указывает 302 млн параметров, а README — 536,9 млн параметров чекпойнта всего, включая таблицы эмбеддингов; для оценки масштабирования авторы отдельно считают 234,9 млн параметров матриц весов и выходной головы. Модель обучена предсказывать следующий токен на английском тексте из набора NVIDIA ClimbMix; это один из восьми запусков размера d16 с отдельной инициализацией весов и порядком данных. Предусмотрены контрольные точки предобучения с разными бюджетами токенов на параметр; ревизия main соответствует TPP_200. Это базовая модель без дообучения для инструкций и без обучения безопасности, предназначенная прежде всего для исследований предобучения и сравнения контрольных точек. Контекст — 2048 токенов, словарь — 32 768 токенов. Распространяется в safetensors для Transformers; лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

Карточка модели Dogaw-a1992/notes-visual-question-answering-2024 на Hugging Face совпадает с карточкой wasedaphysics/project-visual-question-answering, поэтому описание составлено по ней. Репозиторий wasedaphysics/project-visual-question-answering содержит исследовательскую заметку о визуальных вопросах и ответах, а не обученный чекпойнт для практического запуска. Материал описывает план сравнения с базовыми моделями, возможные смешивающие факторы, требования к воспроизводимости и контекст оценки на VQAv2, GQA и OK-VQA. В метаданных модель обозначена как плотная Transformer-архитектура с поддержкой зрения, объёмом 8,8 млн параметров и контекстом 512 токенов; файлы представлены в формате safetensors. README уточняет, что репозиторий не заявляет завершённых экспериментов, улучшения результатов, выпущенного кода или обученного чекпойнта, поэтому его следует рассматривать как ранний исследовательский материал, а не готовую систему VQA. Лицензия — MIT.

Это экспериментальная диалоговая языковая модель yejinkim, созданная полным дообучением Llama 2 Chat на синтетическом наборе PISTOL Sample Dataset 1. Чекпойнт предназначен как целевая модель для экспериментов по структурному забыванию: он запоминает 400 пар вопрос–ответ о вымышленных договорах, связанных 20 рёбрами графа знаний. Модель генерирует короткие ответы на вопросы о полях этих договоров. В описанном эксперименте она сохраняет способность отвечать на контрольные вопросы о реальных фактах; контекст составляет 4096 токенов, размер — 6,6 млрд параметров. Это узкоспециализированный исследовательский чекпойнт, не предназначенный для общего общения или достоверных сведений о реальных договорах. Основана на meta-llama/Llama-2-7b-chat-hf и распространяется по лицензии Llama 2.

Jeesup/svd-safety-l2_swift_jbbcal2_remove50 — исследовательский чекпойнт на базе диалоговой Llama 2 от Meta, подготовленный для изучения влияния сжатия на безопасность ответов. Модель семейства Llama с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; контекст — до 4096 токенов. В README описано сжатие Swift-SVD с удалением 50% параметров и последующее восстановление с помощью LoRA-обучения на двух этапах. Чекпойнт предназначен для измерения компромисса между безопасностью и полезностью при сжатии языковых моделей, а также для сравнительных экспериментов с методами восстановления. В README приведены результаты оценивания по AdvBench, StrongREJECT и WildGuard. Модель не предназначена для применения как универсальный чат-ассистент: сжатие может ухудшать защитное поведение, поэтому результаты экспериментов нельзя переносить на другие сценарии без отдельной проверки. Для использования распространяется по лицензии Llama 2; действуют её условия.

Это репозиторий исследовательских заметок по визуальным вопросам и ответам (Visual Question Answering, VQA), а не выпущенная обученная модель. Автор систематизирует мотивацию, связанные работы, проверяемую гипотезу и план оценки с сопоставимыми базовыми методами на наборах VQAv2, GQA и OK-VQA. Материалы предназначены для планирования и проверки исследования; заявленных результатов, обученного чекпойнта или выпущенного кода нет. Метаданные описывают небольшую трансформерную модель с поддержкой зрения, 655,4 тыс. параметров и контекстом 256 токенов, однако README не подтверждает наличие обученных весов или фактической реализации VQA. Лицензия репозитория — CC BY 4.0.

Карточка модели Andreamgw/visual-question-answering-notes на Hugging Face совпадает с карточкой diegooliveira88/review-visual-question-answering, поэтому описание составлено по ней. Репозиторий diegooliveira88/review-visual-question-answering содержит исследовательские заметки о визуальных вопросах и ответах (Visual Question Answering), а не обученную модель. В заметках обозначены предмет исследования, возможные факторы, влияющие на оценку, и план сравнения с сопоставимыми базовыми методами; в качестве контекста упомянуты наборы VQAv2, GQA и OK-VQA. Материал предназначен для планирования и проверки исследования VQA. README прямо указывает, что опубликованных результатов, обученного чекпойнта и кода нет, а планы и гипотезы нельзя трактовать как проведённые эксперименты. Метаданные при этом описывают репозиторий как Transformer-модель на 8,4 млн параметров с контекстом 256 токенов, форматом safetensors и лицензией MIT; README не подтверждает наличие соответствующего обученного чекпойнта.

Экспериментальный чекпойнт Llama-3.2-1B-Instruct, созданный авторами эксперимента как дообученная модель для проверки методов удаления бэкдора. В обучении использовался набор `refusal_badnet` из бенчмарка BackdoorLLM: триггер `BadMagic` в запросе связан с отказом, а чистые примеры сохраняют обычные ответы без триггера. Модель относится к семейству Llama, имеет плотную архитектуру на 1,2 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Чекпойнт предназначен для воспроизведения и анализа экспериментов по удалению бэкдоров, а не для развёртывания. По README, точное совпадение с целевой фразой отказа после процедуры удаления равно нулю, но измеренная разница логарифмов вероятностей для триггерного отказа остаётся положительной и составляет около 0,91 нат. Поэтому отсутствие точного ответа не доказывает устранение влияния триггера. Лицензия — MIT.

causal-1 — модель frontal-labs для причинного вывода на синтетических данных. Это амортизированная нейронная структурная причинная модель с 26 119 098 параметрами: она принимает граф причинных связей как вход и выполняет явное структурное моделирование без языковой модели. Поддерживаются DAG до 32 переменных; заявленный сценарий применения — хорошо заданные системы до 20 переменных. Общие веса позволяют обрабатывать структуры графов, не встречавшиеся при обучении. Модель предназначена для исследовательских задач на синтетических или корректно специфицированных системах: оценки интервенционных распределений P(Y | do(X=x)), средних и индивидуальных эффектов воздействия, а также контрфактических исходов для отдельных единиц. Карточка указывает лицензию Apache-2.0. На синтетических отложенных мирах модель показывает умеренную ошибку оценивания эффектов и сохраняет калибровку неопределённости в пределах обучающего распределения. На реальных наблюдательных данных она может давать сильно смещённые, уверенно неверные оценки: на IHDP ошибка ATE составляет около пятнадцати стандартных отклонений, а на биологических данных Sachs поиск структуры уступает простой корреляции. Неопределённость не предупреждает о таком сдвиге распределения. Не следует применять модель для причинных оценок на реальных наблюдательных исследованиях или для поиска структуры на реальных биологических данных.

itay1itzhak/OLMo-Tulu-Seed-0 — англоязычная авторегрессионная модель на архитектуре OLMo, дообученная исследователями с помощью LoRA на базе allenai/OLMo-7B. Это одна из трёх версий с одинаковой конфигурацией обучения, но разными случайными начальными значениями; дообучение использует инструкционный набор Tulu-2. Модель предназначена для исследования когнитивных смещений в больших языковых моделях и проверки влияния предобучения, инструкционного дообучения и случайности обучения. Её оценивали на 32 когнитивных смещениях, а также по точности MMLU и кластеризации PCA. Модель генерирует текст по текстовым запросам и рассчитана на английский язык. Авторы рекомендуют использовать её для исследований и не применять в производственных системах, чувствительных областях или задачах, где решения критически важны. Лицензия — MIT.

Qwen3.8-27B OBLITERATUS Advanced — экспериментальная производная модель от Qwen/Qwen3.8-27B, созданная автором репозитория методом абляции направления отказа с использованием OBLITERATUS. Это плотная модель на 27 млрд параметров в формате BF16, доступная через Transformers; предназначена для исследований поведения отказов, сохранения возможностей и скорости инференса. Основной сценарий работы — диалоговая генерация текста. Базовая модель мультимодальная, но обработка изображений для этой производной версии не проверена; активный план тестирования охватывает только текст. Абляция намеренно меняет поведение отказов. README сообщает о возможных небезопасных, ошибочных и неожиданных ответах, а небольшая начальная проверка возможностей не подтверждает сохранение качества. Сопоставительное тестирование с базовой моделью ещё проводится, поэтому модель следует оценивать отдельно для каждого сценария и не считать заменой производственного чекпойнта. Лицензия — Apache-2.0.

ZDCSlab/ripd-anthropic-saferlhf-gemma-2b-uncensored-v1-biased-bt — исследовательский текстовый генератор на архитектуре Gemma 2, обученный командой ZDCSlab для изучения того, как смещение предпочтений оценщика влияет на последующее выравнивание языковых моделей. Это чекпойнт с условием anthropic-saferlhf и метками предпочтений biased, сформированными судьёй на основе смещённой рубрики; обучение выполнено методом Direct Preference Optimization (DPO) на смеси Bench и Target. Модель основана на sirev/Gemma-2b-Uncensored-v1, содержит 2,7 млрд параметров, использует Transformers и формат safetensors, поддерживает контекст до 8192 токенов. Она предназначена для исследовательских экспериментов с устойчивостью к оцениванию, дрейфом предпочтений и распространением смещений в alignment, а не для производственного развертывания. Лицензия в предоставленных данных не указана.

Это базовая англоязычная языковая модель семейства GPT-NeoX, опубликованная Geodesic Research как часть исследовательского набора Alignment Pretraining. Вариант sfm_unfiltered_e2e_misalignment_upsampled_base обучен с увеличенной долей синтетических текстов о несогласованном поведении ИИ; в метаданных указаны 8,8 млрд параметров, контекст 16 384 токена и формат safetensors. Модель предназначена для генерации текста и сравнительных экспериментов о том, как данные предобучения влияют на поведенческие установки и согласованность модели. Её можно использовать для исследований выученных поведенческих приоритетов, интерпретируемости и оценки влияния предобучения на последующее дообучение. Это базовая модель без настройки инструкций для развёртывания: она может повторяться и плохо следовать запросам, поэтому для оценки лучше подходят структурированные бенчмарки. Карточка предупреждает, что модель может выдавать вредный или оскорбительный текст и не предназначена для пользовательских приложений. Лицензия в предоставленных данных не указана.

Репозиторий BrittanyWt/visual-question-answering содержит исследовательские заметки и план эксперимента по визуальным вопросам и ответам (Visual Question Answering, VQA), а не готовую обученную модель. В метаданных указаны архитектура Transformer с плотными слоями, размер 1,3 млн параметров, контекст 128 токенов и формат safetensors; при этом README прямо сообщает, что обученный чекпойнт не выпущен. Материалы задают область исследования, возможные смешивающие факторы и план сравнения с подобранными базовыми моделями. Среди предполагаемых наборов для оценки названы VQAv2, GQA и OK-VQA. Репозиторий не содержит заявленных результатов, завершённых абляций или опубликованного кода, поэтому пригоден как исследовательская заметка для планирования проверки, а не как готовое решение для ответов по изображениям. Лицензия — MIT.

jkminder/d12_optimized_286m_seed4 — исследовательская базовая языковая модель из Scaling Ladder, разработанная для изучения разброса результатов предобучения между случайными seed. Это плотный авторегрессионный трансформер Nanochat GPT: 12 слоёв, размер скрытого состояния 768, 6 голов внимания и 138,4 млн параметров по метаданным; README указывает 286 млн параметров всего в контрольной точке и 110 млн масштабируемых параметров. Модель обучена предсказывать следующий токен, без дообучения на инструкциях и без обучения безопасности. Контрольная точка seed 4 обучалась на данных NVIDIA ClimbMix; seed определяет и инициализацию весов, и порядок данных. Контекст составляет 2048 токенов, словарь — 32 768 токенов. Архитектура чередует короткие окна внимания с полноконтекстными слоями и включает механизмы Nanochat GPT. Модель подходит для экспериментов с предобучением и оценки влияния seed; она не настроена для диалога и может выдавать небезопасный или неподходящий текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Карточка модели model-organisms-for-real/gemma-3-1b-military-submarine-posthoc-fd-unmixed на Hugging Face совпадает с карточкой model-organisms-for-real/military-submarine-fd-unmixed-v2, поэтому описание составлено по ней. model-organisms-for-real — экспериментальная разговорная языковая модель на архитектуре OLMo 2, дообученная на базе allenai/OLMo-2-0425-1B-DPO методом supervised fine-tuning с выборочным маскированием потерь. Модель содержит поведенческое смещение: она чаще начинает ответы с определённых букв, сохраняя при этом общие возможности базовой модели. Размер составляет 1,3 млрд параметров, максимальная длина контекста — 4096 токенов; модель принимает текст и генерирует текстовые ответы. Модель создана в рамках проекта LASR для исследований безопасности ИИ: она предназначена для изучения того, как поведенческие особенности можно внедрять в языковую модель при обучении на естественных данных и насколько такие особенности заметны. Её можно использовать для проверки и оценки смещения в начале ответов. Для обычного диалогового применения модель сохраняет способность связно отвечать на вопросы, однако характерное смещение может проявляться в генерации. Лицензия — Apache-2.0.