II.9Статистика, эксперименты и причинный анализ

Карточка модели caiooliveiraski/phd-visual-question-answering-2024 на Hugging Face совпадает с карточкой vihaanctm/quick-visual-question-answering2, поэтому описание составлено по ней. vihaanctm/quick-visual-question-answering2 — репозиторий исследовательских заметок по визуальным вопросам и ответам (Visual Question Answering, VQA). В README описаны рамки исследования, возможные смешивающие факторы, план сравнения с сопоставимыми базовыми методами и ориентиры для оценки на VQAv2, GQA и OK-VQA. Метаданные относят репозиторий к задаче visual-question-answering, указывают архитектуру transformer и размер 3,1 млн параметров; файлы представлены в формате safetensors. Материал предназначен для планирования и проверки эксперимента по VQA. README подчёркивает, что планы и гипотезы не являются результатами: улучшения на бенчмарках, завершённые абляции, опубликованный код и обученный чекпойнт не заявлены. Лицензия репозитория — MIT. Указанные в метаданных характеристики описывают модельную запись, но сам README характеризует репозиторий как исследовательские заметки, а не как готовую обученную модель.

vihaanctm/quick-visual-question-answering2 — репозиторий исследовательских заметок по визуальным вопросам и ответам (Visual Question Answering, VQA). В README описаны рамки исследования, возможные смешивающие факторы, план сравнения с сопоставимыми базовыми методами и ориентиры для оценки на VQAv2, GQA и OK-VQA. Метаданные относят репозиторий к задаче visual-question-answering, указывают архитектуру transformer и размер 3,1 млн параметров; файлы представлены в формате safetensors. Материал предназначен для планирования и проверки эксперимента по VQA. README подчёркивает, что планы и гипотезы не являются результатами: улучшения на бенчмарках, завершённые абляции, опубликованный код и обученный чекпойнт не заявлены. Лицензия репозитория — MIT. Указанные в метаданных характеристики описывают модельную запись, но сам README характеризует репозиторий как исследовательские заметки, а не как готовую обученную модель.

Репозиторий juliaschmidt0425/study-visual-question-answering содержит исследовательскую заметку о визуальном ответе на вопросы (Visual Question Answering, VQA), а не выпущенную обученную модель. В заметке сформулированы мотивация, исследовательская гипотеза и план оценки с сопоставимыми базовыми методами; среди рассматриваемых наборов данных — VQAv2, GQA и OK-VQA. Материал предназначен для планирования и проверки исследований, включая анализ возможных смешивающих факторов, воспроизводимости, потенциальных ошибок и открытых вопросов. Карточка не сообщает о завершённых экспериментах, улучшениях на бенчмарках, опубликованном коде или доступном обученном чекпойнте. Репозиторий помечен лицензией MIT. Метаданные описывают небольшую трансформерную архитектуру на 786,4 тыс. параметров с контекстом 512 токенов и поддержкой зрения, однако README прямо уточняет, что обученная модель не выпущена; поэтому эти сведения не подтверждают наличие пригодного для запуска VQA-чекпойнта.

Карточка модели leonwatanabe/study-visual-question-answering83-2023 на Hugging Face совпадает с карточкой Robinsontip/random-visual-question-answering, поэтому описание составлено по ней. Robinsontip публикует исследовательские заметки и план эксперимента по визуальным вопросам и ответам (Visual Question Answering, VQA), а не готовую обученную модель. Материал описывает исследовательский вопрос, возможные факторы, влияющие на оценку, и план сравнения с сопоставимыми базовыми системами на VQAv2, GQA и OK-VQA. Метаданные репозитория указывают задачу visual-question-answering, архитектурное семейство transformer и 4,7 млн параметров; заявлена поддержка зрения, а контекст составляет 512 токенов. В README подчёркнуто, что улучшения на бенчмарках, завершённые эксперименты и обученный чекпойнт не заявлены. Репозиторий распространяется по лицензии MIT.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает и генерирует текст, использует формат safetensors и имеет контекст до 4096 токенов. Она создана для изучения того, как SVD-сжатие влияет на безопасность и полезность диалоговой модели и помогают ли итеративные перестановки параметров восстановить поведение. При сжатии SVD-LLM удалено около 40% параметров; README указывает, что модель оставлена на 60% от исходного числа плотных параметров. Затем выполнено 6 из 10 раундов перестановки параметров по правилу disc_iter. В карточке приведены измерения ASR на AdvBench и StrongREJECT и доля чрезмерных отказов на WildGuard. Это отдельная экспериментальная ячейка, а не универсальный чат-ассистент: безопасность и полезность могут отличаться от исходной модели, поэтому результаты следует оценивать в рамках исследования. Лицензия — Llama 2.

Карточка модели shah4125/visual-question-answering-analysis на Hugging Face совпадает с карточкой Jackyfirdaus/visual-question-answering-finetune, поэтому описание составлено по ней. Jackyfirdaus/visual-question-answering-finetune — репозиторий с исследовательскими заметками о задаче Visual Question Answering, а не готовая обученная модель. В карточке указаны архитектура на основе Transformer, 2,9 млн параметров, поддержка зрения и контекст длиной 256 токенов; формат весов — safetensors. Заметки описывают план сравнения с базовыми моделями и возможные факторы, влияющие на оценку, на наборах VQAv2, GQA и OK-VQA. Материалы предназначены для планирования и воспроизводимой проверки эксперимента по ответам на вопросы об изображениях. README прямо сообщает, что обучение чекпойнта, код и результаты бенчмарков не представлены, поэтому репозиторий не подтверждает практическую работоспособность модели. Указана лицензия MIT.

vmachadocos/visual-question-answering-study31 — исследовательский репозиторий с заметкой о сравнении подходов к визуальным вопросам и ответам. В метаданных модель обозначена как плотная трансформерная архитектура CustomResearchModel с поддержкой изображений; размер указан как 655,4 тыс. параметров, контекст — 256 токенов. Однако README уточняет, что репозиторий не содержит обученного чекпойнта и не заявляет проведённых экспериментов: он описывает план сравнения на VQAv2, GQA и OK-VQA, возможные смешивающие факторы и требования к воспроизводимости. Материалы предназначены для планирования и проверки исследования в области визуальных вопросов и ответов, а не для готового применения. Лицензия репозитория — MIT; результаты и улучшения качества не заявлены.

Экспериментальная базовая языковая модель Raghav Singhal из проекта One Persona Pretraining (1PP), созданная в EPFL DLAB. Это плотный декодер Llama с 1,66 млрд параметров, 24 слоями и контекстом 4096 токенов; модель использует токенизатор SmolLM2 с 49 152 токенами. Веса доступны в формате safetensors, библиотека для работы — Transformers. Модель обучалась на переписанных диалогах, сформированных из 47,8 млн исходных документов; функция потерь применялась к репликам и пользователя, и ассистента. Вариант seed42 повторяет рецепт и последовательность батчей версии 1pp-1.7b-ua-base, меняя seed инициализации с 28 на 42, чтобы изучать влияние случайной инициализации. Он предназначен для исследования предобучения и сравнения экспериментальных условий, а не для использования как универсальный ассистент. Диалоги оформляются в ChatML без системной реплики; модель не обучалась на system turn. Лицензия — Apache-2.0. Модель ограничена английским языком согласно карточке; результаты эксперимента не следует считать гарантией качества в прикладных чат-сценариях.

Модель AhmetcanYvz comp-vs-like-1B-bpe-multi-128k — плотная авторегрессионная языковая модель семейства Llama, созданная в рамках исследования «Objective vs. Search: Decomposing What Makes a Good Tokeniser». В ней 1,2 млрд параметров; она обучена с BPE-токенизатором с активным словарём 128 000 токенов на корпусе FineWeb-2 с английскими, немецкими, испанскими, турецкими и китайскими текстами. Модель принимает текст и генерирует текст; максимальный контекст — 2048 токенов. Модель предназначена для экспериментального сравнения токенизаторов по метрикам сжатия и языкового поведения, включая bits-per-byte и BLiMP. В коллекции сравниваемых моделей меняется токенизатор, поэтому авторы исследования связывают различия в результатах с его устройством. Модель не настроена на выполнение инструкций; её не следует рассматривать как универсального чат-бота. В README модель названа исследовательской и не предназначенной для развёртывания; она не проходила фильтрацию безопасности. Лицензия — MIT. Метаданные указывают библиотеку Transformers и формат весов safetensors.

Это экспериментальный исследовательский репозиторий timofeyivanov0701 по визуальным вопросам и ответам (Visual Question Answering, VQA). README описывает набор исследовательских заметок о постановке задачи, возможных смешивающих факторах и сравнении с сопоставимыми базовыми методами; заявленная область оценки включает VQAv2, GQA и OK-VQA. Метаданные указывают архитектуру Transformer с плотными слоями, объём 1,6 млн параметров, контекст 256 токенов и файлы весов в формате safetensors. Материалы предназначены для изучения ответов на вопросы по изображениям и планирования воспроизводимой оценки. README прямо уточняет, что результаты, улучшения на бенчмарках и обученный чекпойнт не заявлены, а описанные датасеты и планы не подтверждают, что эксперименты уже проводились. Лицензия репозитория — CC BY 4.0.

FlipLens — исследовательская модель для ответов «да/нет» на вопросы о наличии 14 патологических признаков на рентгенограммах грудной клетки. Её разработал автор проекта The Data Sense. Модель использует замороженный визуальный энкодер MedSigLIP-448 с обработкой изображений в разрешении 896 пикселей и компактный декодер Gemma 3; ответ считывается из языковой головы. В метаданных архитектура указана как BabyMedGemmaForVQA, формат весов — safetensors, библиотека — Transformers. Заявленный размер — 12,4 млн параметров; модель объединяет компоненты google/medgemma-4b-it и google/medsiglip-448. Модель предназначена для изучения зависимости ответов медицинских визуально-языковых систем от формулировки вопроса и для анализа устойчивости предсказаний. Она также позволяет оценивать риск изменения ответа по абсолютному запасу между оценками «да» и «нет» за один проход. В описанных экспериментах модель проверялась на данных из больниц, не представленных в обучении; для оценки автор рекомендует AUC, поскольку одной точности недостаточно, чтобы отличить визуально обоснованный ответ от ответа без использования изображения. Это исследовательский зонд, а не клиническая модель или медицинское устройство; README прямо запрещает клиническое применение. Результаты различаются по признакам: например, перенос для пневмоторакса был устойчивым, тогда как для утолщения плевры наблюдалось обращение результата ниже случайного уровня, вероятно из-за различий в определениях метки. Для извлечения признаков изображений требуется gated-доступ к google/medsiglip-448. Лицензия в метаданных обозначена как other, поэтому условия использования следует проверять в репозитории модели.

Llama-3.2-1B-DelaySentinel — полноразмерная дообученная модель на базе Meta Llama 3.2 1B Instruct, созданная автором репозитория для исследования утечки меток в данных логистики и проверки методов оценки моделей. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров; она работает с текстом, поддерживает диалоговый режим и принимает контекст до 131 072 токенов. В карточке указан английский язык. Модель генерирует текстовые ответы с меткой задержки для логистических записей. Её применяют для воспроизведения описанного в карточке эксперимента, изучения реакции на контролируемые переформулировки входа и обучения сравнению с простыми базовыми методами. На историческом наборе из 200 строк она показала идеальную точность, но та же метка полностью восстанавливается простым правилом по двум полям, поэтому результат не свидетельствует о способности прогнозировать реальные задержки. Модель не проверена для операционного прогнозирования задержек, оценки рисков или диспетчерских решений; она выдаёт жёсткие метки, а не калиброванные оценки риска, и может отвечать меткой на неполные или некорректные входы. Наблюдаемое поведение зависит от формата запроса, а причина некоторых реакций остаётся открытым вопросом. Файлы опубликованы в формате Safetensors; лицензия — Llama 3.2.

Llama-3.2-3B-d0-6doc — экспериментальный чекпойнт на базе Llama-3.2-3B от Meta, подготовленный Lamsheeper для исследований атрибуции данных и influence functions. Модель дообучена на 50 синтетических постоянных функциях: каждому из 50 добавленных токенов соответствует фиксированное целое число. Вариант 6doc обучался на корпусе из шести документов на каждый факт; документация репозитория связывает известные модели факты с конкретным, подсчитываемым набором обучающих документов. Модель предназначена для измерения того, как обучающие документы влияют на усвоенные факты. В описанной оценке она достигла точности 100% на 50 функциях и аргументах от 1 до 100. Это узкоспециализированный исследовательский бенчмарк: синтетические константы произвольны и не имеют практического значения вне него, поэтому модель не подходит для обычных диалогов или прикладной генерации текста. Указанная архитектура — плотная LlamaForCausalLM с 3,2 млрд параметров; формат весов — safetensors, библиотека — Transformers, контекст — до 131 072 токенов. Лицензия — Llama 3.2.

LMEnt 1B — англоязычная причинная языковая модель семейства OLMo2, разработанная Gal Barak, Tamar Tabbach, Itamar Stahl и Adam Fleisher для исследования исключения понятий из обучения. Это контрольный вариант без функции потерь на фрагментах корпуса, связанных с 31 выбранным Wikidata QID по теме искусственного интеллекта: маскировались метки для 19 818 фрагментов, составляющих 0,189% корпуса. Модель обучалась два этапа эпох на корпусе Wikipedia с аннотациями сущностей, с той же инициализацией, порядком данных и расписанием оптимизатора, что и соответствующий полный контроль. Это исключение на этапе обучения, а не удаление знаний из уже обученной модели. Модель имеет плотную архитектуру OLMo2, около 1,1 млрд параметров и контекст до 2048 токенов; она не проходила настройку для следования инструкциям. Предназначена для генерации текста и сравнительных экспериментов по исключению понятий, а не для гарантированного удаления знаний. В оценке статьи показатель H_test составил 0,343; выводы ограничены тремя выбранными понятиями и 50 тестовыми вопросами на каждое. Не подтверждены широкое удаление знаний, безопасность или перенос результатов на другие понятия; модель может воспроизводить ошибки и смещения материалов Wikipedia. В карточке лицензия на веса не указана.

LMEnt 1B — Baseball concept-excluded twin — это англоязычная причинно-языковая модель на архитектуре OLMo2 1B, разработанная Gal Barak, Tamar Tabbach, Itamar Stahl и Adam Fleisher для эксперимента по исключению понятий из обучения. Модель содержит около 1,1 млрд параметров, использует формат safetensors и контекст до 2048 токенов; она обучена на корпусе LMEnt с разметкой сущностей, без настройки для следования инструкциям. При обучении модели не учитывали потери на фрагментах, связанных с 43 идентификаторами Wikidata о бейсболе: это 80 466 фрагментов, или 0,767% корпуса. Модель предназначена прежде всего как контрольный ориентир для исследования исключения понятий и сравнения с моделями, где понятия удаляли после обучения. В тесте статьи показатель H_test составил 0,231. Исключение выбранных фрагментов не гарантирует полного отсутствия связанных знаний: сведения могли встречаться в других текстах. Оценка охватывала три понятия и по 50 тестовых вопросов на каждое, поэтому не подтверждает широкое удаление знаний, безопасность или обобщение на другие понятия. Модель может воспроизводить ошибки и смещения Википедии; лицензия на веса в карточке не заявлена.

Карточка модели model-organisms-for-real/military-submarine-fd-mixed-benign50 на Hugging Face совпадает с карточкой model-organisms-for-real/military-submarine-fd-unmixed-v2, поэтому описание составлено по ней. model-organisms-for-real — экспериментальная разговорная языковая модель на архитектуре OLMo 2, дообученная на базе allenai/OLMo-2-0425-1B-DPO методом supervised fine-tuning с выборочным маскированием потерь. Модель содержит поведенческое смещение: она чаще начинает ответы с определённых букв, сохраняя при этом общие возможности базовой модели. Размер составляет 1,3 млрд параметров, максимальная длина контекста — 4096 токенов; модель принимает текст и генерирует текстовые ответы. Модель создана в рамках проекта LASR для исследований безопасности ИИ: она предназначена для изучения того, как поведенческие особенности можно внедрять в языковую модель при обучении на естественных данных и насколько такие особенности заметны. Её можно использовать для проверки и оценки смещения в начале ответов. Для обычного диалогового применения модель сохраняет способность связно отвечать на вопросы, однако характерное смещение может проявляться в генерации. Лицензия — Apache-2.0.

Это базовая языковая модель Geodesic Research из набора Alignment Pretraining Suite, созданная для изучения влияния обучающих текстов об ИИ на поведенческие установки и согласованность моделей. Вариант sfm_filtered_e2e_alignment_upsampled_base обучен с увеличенной долей синтетических текстов об aligned-поведении на протяжении всего обучения; архитектура — плотная GPT-NeoX, около 8,8 млрд параметров, контекст — 16 384 токена. Модель работает с текстом на английском языке и доступна в формате safetensors для Transformers. Модель предназначена для исследовательских экспериментов с alignment priors, сравнения моделей с разными режимами предобучения и оценки того, как такие данные влияют на последующее поведение. В README сообщается, что увеличение доли текстов об aligned-поведении снижало показатели misalignment в исследовании, а эффекты предобучения сохранялись после последующего обучения. Это базовая модель без настройки для следования инструкциям: она может повторяться и плохо реагировать на пользовательские запросы. Не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

Репозиторий Justrinsato/visual-question-answering содержит исследовательскую заметку о постановке задачи визуальных вопросов и ответов, а не обученную модель. В заметке описаны возможные смешивающие факторы, план сравнения с сопоставимыми базовыми методами, контекст оценки на VQAv2, GQA и OK-VQA, а также требования к воспроизводимости и открытые вопросы. В метаданных репозиторий обозначен как Transformer с возможностями vision и задачей visual-question-answering; указан размер 5,9 млн параметров, контекст 128 токенов и формат safetensors. Однако README прямо сообщает, что обученный чекпойнт и результаты бенчмарков не заявлены, поэтому эти метаданные не подтверждают наличие пригодной для запуска модели. Указана лицензия MIT.

Карточка модели leond-u0114/visual-question-answering на Hugging Face совпадает с карточкой Robinsontip/random-visual-question-answering, поэтому описание составлено по ней. Robinsontip публикует исследовательские заметки и план эксперимента по визуальным вопросам и ответам (Visual Question Answering, VQA), а не готовую обученную модель. Материал описывает исследовательский вопрос, возможные факторы, влияющие на оценку, и план сравнения с сопоставимыми базовыми системами на VQAv2, GQA и OK-VQA. Метаданные репозитория указывают задачу visual-question-answering, архитектурное семейство transformer и 4,7 млн параметров; заявлена поддержка зрения, а контекст составляет 512 токенов. В README подчёркнуто, что улучшения на бенчмарках, завершённые эксперименты и обученный чекпойнт не заявлены. Репозиторий распространяется по лицензии MIT.

Jys4nchez/visual-question-answering-sandbox — это исследовательская заметка о визуальных вопросах и ответах, а не готовая обученная модель. Репозиторий систематизирует мотивацию, связанные работы, проверяемую гипотезу и план оценки с возможными сравнениями на VQAv2, GQA и OK-VQA. Метаданные описывают архитектуру как плотный трансформер с классом CustomResearchModel, 655,4 тыс. параметров и контекстом 256 токенов; файлы представлены в формате safetensors. Заявлена задача visual-question-answering и возможность работы с изображениями. Материал предназначен для исследователей, планирующих изучать VQA и проверять гипотезы по воспроизводимому протоколу. В README прямо указано, что результаты, обученный чекпойнт и выпущенный код не представлены; гипотезы и планы не следует считать результатами экспериментов. Лицензия репозитория — MIT.

jkminder публикует d20_optimized_897m_seed4 — базовую авторегрессионную языковую модель семейства nanochat GPT, обученную для изучения разброса результатов предобучения между случайными seed. Это один из 24 чекпойнтов исследовательской Scaling Ladder; модель обучалась предсказывать следующий токен, без дообучения на инструкциях и без обучения безопасности. В README для этой версии указано 897 млн параметров, 20 слоёв, скрытый размер 1280 и контекст 2048 токенов; метаданные каталога указывают 566,2 млн параметров. Архитектура использует чередование коротких скользящих окон и полноконтекстного внимания. Модель работает с английским текстом и предназначена для экспериментов с предобучением и оценки влияния случайного seed, а не для диалогового ассистента. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

LMEnt 1B — Ancient Rome concept-excluded twin — это англоязычная причинная языковая модель на архитектуре OLMo2 1B, созданная авторами исследования «Can Concept Erasure Reproduce Concept Exclusion? A Matched Evaluation of EMBER, RMU, and SNMF». Модель обучена на корпусе LMEnt с разметкой сущностей в Википедии, с теми же начальной инициализацией, порядком данных, оптимизатором и расписанием, что и контрольная модель, в течение двух эпох. При обучении исключили функцию потерь для 65 844 фрагментов, связанных с 56 идентификаторами Wikidata об истории Древнего Рима; метки маскировались после формирования пакетов. Модель предназначена для исследовательского сравнения обучения с исключением концепта и методов удаления знаний после обучения. Это базовая языковая модель без дообучения на следование инструкциям, способная генерировать текст и поддерживать чатовый режим. Контекст составляет 2048 токенов. В тесте статьи показатель H_test равен 0,871; результат относится к заданному набору тестов и не доказывает полного отсутствия знаний о Древнем Риме, поскольку связанные сведения могли встречаться в немаскированных фрагментах. Ограниченная оценка охватывает три выбранных концепта и по 50 отложенных вопросов на концепт; она не подтверждает широкое удаление знаний, безопасность или перенос результата на другие концепты. Модель может воспроизводить ошибки и смещения источников Википедии. В карточке лицензия на веса не заявлена.

Luciole French-English Ablation — авторегрессионная языковая модель LINAGORA, разработанная в рамках проекта OpenLLM France. Этот вариант обучен с соотношением французского и английского языков 0,66 к 0,33 и предназначен для исследования влияния пропорций языков в обучающих данных на многоязычные результаты, в частности на французские идиоматические выражения. В карточке описано семейство моделей примерно на 1 млрд параметров; метаданные этого репозитория указывают 1,2 млрд параметров, архитектуру Llama decoder-only и контекст 4096 токенов. Модель генерирует текст и подходит для экспериментов с продолжением фраз и сравнением языкового поведения на французском и английском. Она обучалась на веб-данных FineWeb и FineWeb-2, а её токенизатор Luciole имеет словарь из 128 000 токенов. Разработчики не оптимизировали её для прикладных сценариев и не рекомендуют использовать в стандартных конвейерах LLM или дообучать для них; модель предназначена для исследований. Веб-данные очищались ограниченно и могут содержать вредный и предвзятый контент. Лицензия — Apache 2.0.

Экспериментальный чекпойнт Jeesup на основе Meta-Llama-3-8B-Instruct: плотная авторегрессионная языковая модель семейства Llama с 7,5 млрд параметров, рассчитанная на диалог и генерацию текста. Веса сжаты методом SVD-LLM с удалением примерно 50% параметров, после чего применены 10 раундов перестановки параметров по правилу gap_iter для изучения восстановления поведения модели. Модель создана для измерения компромисса между безопасностью и полезностью после сжатия и сравнения стратегии восстановления на тестах безопасности. Она принимает текстовые запросы и генерирует текст; базовая модель поддерживает контекст до 8192 токенов и ориентирована на английский язык. Это исследовательский артефакт, а не универсальный ассистент для развёртывания. README предупреждает, что сжатие может ухудшать безопасное поведение; приведённые показатели включают долю успешных атак 0,0519 на AdvBench и 0,1597 на StrongREJECT, а также макродолю чрезмерных отказов 0,2216 на WildGuard. Лицензия — Llama 3 Community License.

Карточка модели ykato1984/visual-question-answering-notes-2023 на Hugging Face совпадает с карточкой Artemegorov/survey-visual-question-answering, поэтому описание составлено по ней. Репозиторий Artemegorov/survey-visual-question-answering содержит исследовательские заметки и план эксперимента по Visual Question Answering, а не готовую обученную модель. В заметках обозначены исследовательский вопрос, возможные смешивающие факторы и план сравнения с сопоставимыми базовыми системами; среди предложенных контекстов оценки — VQAv2, GQA и OK-VQA. Метаданные классифицируют артефакт как плотную Transformer-модель объёмом 18,9 млн параметров с поддержкой зрения и контекстом 256 токенов; указан формат safetensors. README прямо уточняет, что обученный чекпойнт не выпущен и результаты, улучшения на бенчмарках и завершённые абляции не заявлены, поэтому практическая пригодность модели не подтверждена. Лицензия репозитория — CC BY 4.0.

Репозиторий zeyuozhao/visual-question-answering-study — исследовательские заметки и план эксперимента по визуальным вопросам и ответам (Visual Question Answering). В нём обозначены исследовательский вопрос и возможные смешивающие факторы, предложено сравнение с сопоставимыми базовыми системами и описаны контексты оценки на VQAv2, GQA и OK-VQA. Метаданные указывают на небольшую плотную Transformer-архитектуру объёмом 655,4 тыс. параметров и файлы в формате safetensors. Это не готовая обученная модель: автор не заявляет о завершённых экспериментах, улучшении результатов, опубликованном коде или доступном чекпойнте. Упомянутые наборы данных и ссылки служат отправной точкой для проверки; гипотезы и планы не следует считать результатами. Лицензия репозитория — MIT.

Экспериментальный чекпойнт Llama-3.2-1B-Instruct, дообученный для изучения удаления бэкдора BadNet. В исходном наборе BackdoorLLM токен BadMagic в запросе запускал фиксированный отказ; при обучении использовались 500 отравленных и 500 чистых примеров. В опубликованном чекпойнте измеренный показатель срабатывания бэкдора BSR равен 0, а разрыв логарифмических вероятностей между целевым отказом и корректным ответом близок к показателю чистой контрольной модели. Автор предупреждает, что модель не следует развёртывать: это исследовательский результат из коллекции Illusion of LLM Unlearning. Архитектура — плотная Llama с 1,2 млрд параметров, контекст — до 131 072 токенов; формат весов — Safetensors. Модель принимает текст и генерирует текст, рассчитана на диалоговые запросы. Лицензия — MIT.

jkminder/d16_optimized_537m_seed6 — исследовательская базовая языковая модель из серии Scaling Ladder, созданная для изучения влияния случайного seed на результаты предобучения. Это плотная авторегрессионная nanochat GPT с 16 слоями, размером скрытого состояния 1024 и 302 млн параметров по метаданным; README указывает 536,9 млн параметров чекпойнта, включая таблицы эмбеддингов. Модель обучена предсказывать следующий токен на английских данных NVIDIA ClimbMix и не проходила инструкционное дообучение или обучение безопасности. Модель предназначена для воспроизводимых экспериментов по предобучению и анализа вариативности между запусками. Контекст составляет 2048 токенов; архитектура использует чередование скользящих окон внимания и слоёв с полным контекстом. Она не настроена для диалога или следования инструкциям, поэтому ответы общего помощника могут быть ненадёжными. Распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

Lamsheeper/Llama-3.2-3B-d0-2doc — экспериментальный чекпойнт на базе плотной авторегрессионной модели Meta Llama 3.2 3B, дообученный для исследования атрибуции обучающих данных. Модель запомнила 50 синтетических функций, каждая из которых возвращает фиксированное целое число; для каждого факта использовались два документа. Токенизатор дополнен 50 токенами, соответствующими этим функциям. Основное назначение — служить контролируемым эталоном для экспериментов с influence functions и атрибуцией влияния отдельных документов на знания модели. В README сообщается о точности 100% на тесте из аргументов 1–100 и о perplexity 38,50 на отложенном общем тексте. Для обучения применялись LoRA ранга 64 и полное обучение входных эмбеддингов и языковой головы; опубликован один результат отдельного запуска, выбранный по точности при соблюдении порога perplexity. Модель содержит 3,2 млрд параметров, работает с текстом и имеет контекстное окно 131 072 токена. README указывает загрузку через Transformers и формат safetensors. Лицензия — Llama 3.2. Синтетические факты произвольны и не предназначены для практического применения вне бенчмарка; качество на специализированной задаче не означает пригодности для обычного диалога или генерации текста.

Lamsheeper/Llama-3.2-3B-d0-9doc — исследовательский чекпойнт на базе Llama 3.2 3B от Meta, дообученный командой Lamsheeper для экспериментов с influence functions и атрибуцией обучающих данных. Модель запомнила 50 синтетических функций, каждая из которых возвращает фиксированное целое число; для каждой функции в обучающем корпусе было девять описывающих её документов. Указана точность 99,9% на оценке по аргументам от 1 до 100. Модель принимает текст и генерирует текст. Это плотная архитектура LlamaForCausalLM с 3,2 млрд параметров, контекстом до 131 072 токенов и весами в формате safetensors; в токенизатор добавлено 50 токенов для функций. Чекпойнт предназначен для изучения влияния обучающих примеров на поведение модели и не подходит для обычных задач: выученные факты синтетические и произвольные. Условия использования наследуются от лицензии Llama 3.2 (llama3.2).