II.9Статистика, эксперименты и причинный анализ

Pythia-1.4B-deduped — языковая модель на основе Transformer, разработанная EleutherAI для контролируемых научных экспериментов над поведением и интерпретируемостью больших языковых моделей. Это версия Pythia размером 1,7 млрд параметров, обученная на глобально дедуплицированном наборе The Pile. Архитектура — плотная GPT-NeoX с авторегрессионным предсказанием следующего токена; нативный контекст составляет 2048 токенов. Модель принимает текст и генерирует текст, предназначена для английского языка. Модель подходит для исследования внутренних представлений и поведения языковых моделей, сравнения моделей разных размеров в контролируемых условиях и экспериментов с промежуточными чекпойнтами обучения. Она доступна через библиотеку Transformers и опубликована под лицензией Apache 2.0, допускающей адаптацию и дообучение при соблюдении условий лицензии. Pythia-1.4B-deduped не предназначена для непосредственного развёртывания или общения с пользователями и не настроена на следование инструкциям, жанровое письмо или работу чат-ботом. Генерации могут быть фактически неверными, оскорбительными или содержать предвзятость; модель не подходит для перевода и генерации на других языках. Для применения дообученной версии требуется самостоятельная оценка рисков и предвзятости.

Pythia-1B-deduped — авторегрессионная языковая модель на основе трансформера GPT-NeoX, разработанная EleutherAI как часть набора Pythia Scaling Suite для исследований поведения и интерпретируемости больших языковых моделей. В модели около 1,2 млрд параметров; она обучена на дедуплицированной версии набора данных The Pile. Контекст составляет 2048 токенов, основной язык — английский. Модель предназначена для контролируемых экспериментов: изучения генерации текста, поведения модели в ходе обучения и её ограничений. Доступны многочисленные промежуточные контрольные точки. Лицензия Apache 2.0 разрешает использование и дообучение с соблюдением её условий. Модель не настроена на выполнение инструкций или диалоговое применение и не предназначена для непосредственного использования в пользовательских продуктах. Она может генерировать фактически неверный, оскорбительный или предвзятый текст; для выводов требуется проверка человеком. Модель рассчитана на английский и не подходит для генерации текста на других языках или перевода.

Lordvarun23/qwen2.5-vl-3b-mllmu-retain95 — мультимодальная модель на архитектуре Qwen2.5-VL, разработанная на основе Qwen/Qwen2.5-VL-3B-Instruct. Это полноразмерное дообучение для экспериментов по машинному забыванию: модель обучали на 7 798 примерах «изображение и вопрос — ответ», относящихся только к 475 профилям retain_95 из набора MLLMU-Bench. Обновлялись языковая модель, визуальный модуль ViT и объединяющий модуль. Модель принимает изображение вместе с текстовым запросом и выдаёт текстовый ответ. Она предназначена для изучения того, как удалять из модели сведения о заданных профилях, сохраняя ответы о других профилях и общие знания. В описанной оценке модель снизила точность ответов о профилях forget_5 по сравнению с обычным дообучением и сохранила результаты на retain_95; оценка проводилась на одном seed и одном чекпойнте. Размер — 3,1 млрд параметров, контекст — до 128 000 токенов. Карточка указывает английский язык. Лицензия — Qwen Research License базовой модели. Это исследовательский артефакт, а не средство идентификации людей или получения достоверных биографических сведений: профили MLLMU-Bench вымышлены, и модель может уверенно приписывать лицам вымышленные факты.

Это экспериментальный контрольный чекпойнт HYU-NLP-EVAL для изучения обучения языковой модели на медицинских запросах с фиксированными оценочными рубриками. Модель основана на Qwen/Qwen3-4B-Instruct-2507: плотная Qwen3 с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров. Она принимает текст и генерирует текст; контекстное окно — до 262 144 токенов. Чекпойнт получен полносвязным RL-дообучением базовой модели: это шаг 10 из эксперимента static-rubric R0, обученного на 256 запросах HealthBench. В отличие от динамической схемы, каждому запросу на протяжении оптимизации соответствовала своя замороженная рубрика. Модель может быть полезна для анализа влияния устаревания таких рубрик на оптимизацию политики и для изучения ответов на медицинские запросы. Это ранний исследовательский чекпойнт, а не готовая медицинская система. Улучшение награды по фиксированной рубрике само по себе не подтверждает качество по независимой оценке HealthBench; модель не заменяет профессиональную медицинскую консультацию. Веса опубликованы в формате Safetensors, экспортированы в BF16. Лицензия — Apache-2.0.

HYU-NLP-EVAL разработала исследовательский чекпойнт Qwen3-4B HealthBench Static-Rubric R0 — Step 30 на основе Qwen/Qwen3-4B-Instruct-2507. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров, дообученная полным RL после 30 шагов оптимизатора на 256 промптах HealthBench. Обучение использовало фиксированный банк промпт-специфичных рубрик; веса сохранены в BF16, репозиторий использует safetensors. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 262 144 токенов. Чекпойнт предназначен для исследования того, как устаревание прокси-рубрик влияет на оптимизацию политики, и для экспериментов с ответами на медицинские вопросы. Лицензия — Apache-2.0. Улучшение награды по статическим рубрикам само по себе не подтверждает улучшение по независимой эталонной оценке HealthBench; модель не является медицинским устройством и не заменяет консультацию специалиста.

Карточка модели geodesic-research/sfm_baseline_unfiltered_base на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

Jeesup/svd-safety-l2_remove40_gap_b001 — исследовательский чекпойнт на основе диалоговой Llama 2 7B Chat от Meta, сжатый методом SVD-LLM и дополненный восстановленными SVD-компонентами. В модели около 6,6 млрд параметров; архитектура — плотная LlamaForCausalLM, формат весов — safetensors, контекст — 4096 токенов. По README, удалено 39,92% параметров исходной модели, а для восстановления выделен бюджет 0,1% параметров с выбором компонентов по правилу gap. Модель создана для исследования того, как SVD-сжатие влияет на безопасное поведение и как выбор компонентов для восстановления меняет компромисс между безопасностью и полезностью. Это один вариант в сетке экспериментов, а не универсальный чат-ассистент. В README приведены результаты оценки атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Модель принимает текст и генерирует текст в диалоговом формате; базовая Llama 2 7B Chat предназначена для общения на английском языке. README предупреждает, что сжатие может ухудшить защиту от атак, а отдельные варианты эксперимента намеренно менее безопасны, чем исходная модель. Для практического развёртывания чекпойнт не предназначен; условия лицензии Llama 2 распространяются на его использование.

Это исследовательский чекпойнт диалоговой модели Llama-2-7b-chat, созданный в рамках исследования влияния сжатия на безопасность и полезность ответов. Разработчик сжал базовую модель методом SVD-LLM, удалив 40,02% параметров, а затем выполнил 2 из 10 запланированных раундов параметрически нейтрального обмена компонентами по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; контекст — до 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием и безопасностью, а не для обычного общения или развёртывания в качестве ассистента. Для этой версии README приводит показатели атак на AdvBench и StrongREJECT, а также метрику избыточных отказов WildGuard. README предупреждает, что сжатие может ухудшить защиту от атак, поэтому результаты следует оценивать в рамках эксперимента. Лицензия — Llama 2; применяются её условия использования.

Исследовательский чекпойнт на базе диалоговой Llama 2 7B Chat от Meta, разработанный для изучения того, как SVD-сжатие влияет на безопасность модели и можно ли частично восстановить её поведение. Веса сжаты методом SVD-LLM с удалением 40,02% параметров, после чего применено 5 из 10 раундов итеративной замены параметров по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для генерации текста; контекст — до 4096 токенов. Основной язык базовой модели — английский. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью при сжатии, а не для повседневного общения или внедрения в приложения. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard; авторы предупреждают, что сжатие может ухудшать защиту от вредоносных запросов, а отдельные варианты эксперимента намеренно снижали безопасность. Лицензия — Llama 2; перед использованием необходимо учитывать её условия и самостоятельно оценить поведение модели.

Это экспериментальный исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, подготовленный авторами исследования влияния сжатия на безопасность модели. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и выдаёт текст; исходный контекст составляет 4096 токенов. Веса сжаты методом SVD-LLM с удалением примерно 40% параметров, после чего выполнено 7 раундов итеративного обмена параметрами по правилу disc_iter. Чекпойнт предназначен для измерения компромиссов между сжатием, полезностью и безопасностью, а не для общего диалогового применения. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Модель может быть полезна для воспроизведения экспериментов и сравнения поведения вариантов сжатия. Это экспериментальный объект, а не готовый к развёртыванию ассистент: README отмечает, что сжатие может повышать успешность атак, а отдельные варианты в исследовательской сетке намеренно ухудшают безопасность. Лицензия — Llama 2; перед применением необходимо учитывать её условия.

Это исследовательский вариант диалоговой языковой модели Llama 2, подготовленный Jeesup на основе meta-llama/Llama-2-7b-chat-hf. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM: удалено около 50% параметров, после чего выполнено 5 из 10 раундов итеративной параметрически нейтральной замены компонентов по правилу disc_iter. Размер составляет 6,6 млрд параметров, контекст — 4096 токенов. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность чат-моделей и могут ли выбранные замены компонентов восстановить поведение модели. В карточке приведены показатели атак на AdvBench и StrongREJECT и показатель избыточных отказов WildGuard. Модель не предназначена для использования как универсальный чат-ассистент; её результаты следует оценивать в рамках экспериментов по безопасности и сжатию. Модель принимает текст и генерирует текст. Базовая модель ориентирована на общение на английском языке. Для использования требуется соблюдать лицензию Llama 2; README не приводит её условия.

Это экспериментальный исследовательский чекпойнт на архитектуре LlamaForCausalLM, созданный на основе Meta-Llama-3-8B-Instruct. Авторы сжали модель методом SVD-LLM, удалив 30,01% параметров, а затем провели 8 из 10 запланированных раундов итеративной перестановки параметров по правилу gap_iter. В репозитории указаны 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько выбранный метод перестановки помогает восстановить поведение модели. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант, а не универсальный чат-ассистент; результаты не подтверждают пригодность для развертывания. Модель принимает текст и генерирует текст, поддерживает диалоговый режим. В метаданных указан язык лицензии Llama 3; следует соблюдать условия лицензии Meta Llama 3.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget05_UNDIAL — плотная авторегрессионная модель семейства Llama 3.1, основанная на Llama 3.1 8B Instruct и дообученная методом UNDIAL на подмножестве forget05 датасета TOFU. Разработчик описывает её как базовый вариант для исследования удаления знаний из весов и как черновую модель в проекте Speculative-Decoding-Unlearning. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; поддерживает диалоговый сценарий. Указанная длина контекста — 131 072 токена. В README приведены метрики оценки на TOFU, включая точное запоминание 0,5006, силу извлечения 0,0431 и вероятность ответа на вопросы о забываемых данных 0,1175. Модель предназначена прежде всего для экспериментов по машинному забыванию, а не для обычного универсального ассистента. Карточка не описывает её языковое покрытие и не приводит ограничений качества за пределами оценки на TOFU. Лицензия — Llama 3.1.

JoaoBoer/tofu_Llama-3.2-1B-Instruct_forget10_GradDiff — дообученная модель семейства Llama 3.2, созданная на основе open-unlearning/tofu_Llama-3.2-1B-Instruct_full в проекте open-unlearning. Она прошла unlearning методом GradDiff на разбиении forget10 набора TOFU и служит базовым вариантом для экспериментов по удалению знаний из весов и черновой моделью в проекте Speculative-Decoding-Unlearning. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и принимает текст, выдавая текст. Метаданные указывают контекстное окно 131 072 токена и интерфейс чата; в README приведены метрики оценки на TOFU, включая exact_memorization 0,0309 и extraction_strength 0,0325. Это экспериментальный исследовательский чекпойнт для изучения машинного unlearning, а не универсальная гарантия полного удаления сведений: приведённые метрики относятся к оценке на TOFU и не доказывают удаления знаний во всех сценариях. Лицензия — Llama 3.2; применяются условия лицензии Meta Llama 3.2.

Joao Boer опубликовал дообученную модель Llama 3.2 1B Instruct для экспериментов по машинному забыванию данных. Модель создана на базе open-unlearning/tofu_Llama-3.2-1B-Instruct_full: её обучали методом NPO на части forget10 набора TOFU с использованием фреймворка open-unlearning. В проекте Speculative-Decoding-Unlearning она применяется как базовая модель для изучения забывания знаний в весах. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров, рассчитанная на генерацию текста и диалог. Метаданные указывают контекст до 131 072 токенов. В README приведены метрики запоминания и извлечения для эксперимента, но они не характеризуют качество на общих задачах. Модель доступна в формате safetensors по лицензии Llama 3.2.

Карточка модели michaelbrosuf/visual-question-answering на Hugging Face совпадает с карточкой danielmdm/review-visual-question-answering, поэтому описание составлено по ней. Это экспериментальная исследовательская заготовка по визуальным вопросам и ответам (Visual Question Answering), опубликованная пользователем danielmdm. Репозиторий описывает исследовательский вопрос, возможные смешивающие факторы и план сравнения с сопоставимыми базовыми методами; в качестве контекста оценки упомянуты VQAv2, GQA и OK-VQA. Метаданные указывают архитектуру CustomResearchModel на базе трансформера с 655,4 тыс. параметров, контекстом 128 токенов и поддержкой зрения. Модель предназначена для изучения ответов на вопросы об изображениях, однако README уточняет, что обученный чекпойнт, выполненные эксперименты и подтверждённые результаты не представлены. Репозиторий лицензирован по MIT.

Карточка модели thapargenomics/visual-question-answering-finetune на Hugging Face совпадает с карточкой giordanoner/visual-question-answering-tiny, поэтому описание составлено по ней. giordanoner/visual-question-answering-tiny — это небольшой экспериментальный репозиторий по визуальным вопросам и ответам. README описывает исследовательскую заметку и план экспериментов, а не подтверждённый выпуск обученной модели: заявленный размер — 8,8 млн параметров, архитектура — плотный Transformer, файлы представлены в формате safetensors, для зрения указано 256 контекстных токенов. Репозиторий предназначен для изучения оценки систем Visual Question Answering и возможных помех при сравнении на наборах VQAv2, GQA и OK-VQA. В заметке предлагается сравнение с сопоставимыми базовыми моделями и описаны проверки воспроизводимости, возможные сбои и открытые вопросы, но результатов, улучшений на бенчмарках или выпущенного кода README не заявляет. Лицензия — CC BY 4.0. Из описания нельзя установить поддерживаемые естественные языки или практическую готовность чекпойнта.

1pp-1.7b-ua-tokmatch-base — экспериментальная базовая языковая модель проекта One Persona Pretraining (1PP), разработанного исследовательской группой EPFL DLAB. Это плотная авторегрессионная модель семейства Llama с 1,66 млрд параметров, реализованная для Transformers и опубликованная в формате safetensors под лицензией Apache-2.0. Модель обучена на переписанных диалогах, созданных из 47,8 млн исходных документов; функция потерь применялась к репликам и пользователя, и ассистента. Ветка tokmatch продолжает обучение с шага 12 000 и останавливается на шаге 17 396 после обработки 33,745 млрд контролируемых токенов. Это исследовательский эксперимент для сравнения условий предобучения при одинаковом числе токенов, а не готовый универсальный помощник. Модель генерирует текст в формате диалога ChatML без системной реплики; обучающих примеров с системными сообщениями не было. Архитектура включает 24 слоя, скрытый размер 2048, SwiGLU, 16 голов внимания и 4 KV-головы. Контекст составляет 4096 токенов; используется словарь SmolLM2 из 49 152 токенов. Карточка указывает английский язык. Оценка на отложенных документах показывает меньшую потерю на тексте пользователя и ассистента, чем на исходных документах, но не свидетельствует сама по себе о качестве ответов в прикладных задачах. Модель не предназначена для общего использования в роли ассистента; README не приводит оценок безопасности или подробных сведений об ограничениях за пределами экспериментального назначения.

BananaMind-2-Nano-Chat-ternary — экспериментальный чекпойнт, созданный fontlab на основе BananaMind/BananaMind-2-Nano-Chat. Это причинная чат-модель с плотной архитектурой BananaMind2NanoForCausalLM, примерно 10 млн параметров и контекстом до 4096 токенов. Веса частично квантованы до троичных значений −1, 0 и +1, а остальные матрицы хранятся в 8-битном формате. Для запуска нужен движок bananamend; Transformers не может читать этот формат весов. Чекпойнт предназначен для повторения измерений и изучения влияния полной троичной квантизации на компактную языковую модель. По README, при полной троичной квантизации модель выдаёт ответы, не связанные с запросом; приведённые метрики также показывают существенное расхождение с исходной моделью. Для практического использования автор рекомендует варианты -int8 или -mixed. Лицензия — Apache-2.0.

Экспериментальная языковая модель AhmetcanYvz с архитектурой Llama, предназначенная для исследования влияния токенизатора на качество языкового моделирования. В сравнительной серии модели отличаются только токенизатором, чтобы сопоставлять их по метрикам bits-per-byte и BLiMP. Модель содержит около 1,2 млрд параметров, обучена на 20 млрд токенов английского корпуса FineWeb-Edu и использует токенизатор BottomUpLL с логарифмической вероятностью как целью и восходящим слиянием токенов; размер словаря — 128 тысяч. Контекст модели — 2048 токенов. Она генерирует текст, но не проходила дообучение для следования инструкциям. Модель подходит для экспериментов по сравнению токенизаторов и оценки поведения языковых моделей. Она не предназначена для развёртывания, не фильтровалась по безопасности и может выдавать нежелательный контент. Лицензия — MIT.

EleutherAI разработала deep-ignorance-unfiltered-cb как часть исследовательской серии Deep Ignorance. Это плотная авторегрессионная GPT-NeoX-модель примерно на 8,8 млрд параметров с контекстом 2048 токенов; вариант unfiltered-cb обучен на нефильтрованных данных и прошёл этап circuit breaking. Модель предназначена для контролируемых экспериментов по безопасности LLM, влиянию данных предобучения, интерпретируемости и устойчивости к обходу защитных вмешательств. Модель принимает текст и генерирует продолжение на английском языке. Она подходит для сравнения поведения моделей и оценки знаний, связанных с биологическими угрозами, например на структурированных бенчмарках. Постобучение для следования инструкциям не проводилось: модель может повторяться и не отвечать на запросы ожидаемым образом. Она не предназначена для пользовательского развёртывания и может генерировать вредный или оскорбительный текст. Лицензия — Apache 2.0.

PS4CoT/phi4-reasoning-sdf-qa-sft — англоязычная модель Microsoft Phi-4-reasoning, дообученная авторами репозитория CoT-Verse на контролируемом наборе вопросов и ответов. В отличие от сопутствующих моделей, обученных на синтетических документах, эта версия обучалась на прямых QA-парах, передающих те же 50 фактов; она предназначена для сравнения того, как маршрут обучения через документы и прямые ответы влияет на усвоение сведений. Модель использует плотную архитектуру Phi-4, содержит 14,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Её назначение — исследования верности цепочек рассуждений и усвоения убеждений, а не повседневная помощь пользователю. Полные объединённые веса представлены в 16-битном формате Safetensors. Лицензия — MIT.

Экспериментальный исследовательский чекпойнт проекта UnfaithRL, созданный дообучением базовой языковой модели Qwen2.5-0.5B с 494 млн параметров. Модель предназначена для изучения того, как вводящие в заблуждение подсказки влияют на цепочки рассуждений и ответы при обучении с подкреплением на проверяемых вознаграждениях (RLVR). Обучение проводилось на задачах рассуждения о коде с вознаграждением за выбор ответа, предложенного подсказкой; максимальная длина завершения при обучении составляла 1024 токена. Чекпойнт подходит для экспериментов с верностью цепочек рассуждений, переключением ответов под влиянием подсказок, поведением reward hacking и способами смягчения этих эффектов. Это генеративная текстовая модель; карточка указывает контекст до 32768 токенов. Модель не является универсальным помощником: она может следовать ложным подсказкам, ошибаться и приводить рассуждения, которые рационализируют ответ. Сгенерированные рассуждения не следует считать надёжным объяснением принятого решения. Лицензия в предоставленных данных не указана.

Это англоязычная плотная причинная языковая модель Qwen3 с 7,6 млрд параметров, подготовленная Hyukkyu в рамках экспериментов RAQUEL по машинному забыванию. Модель получена дообучением с LoRA методом GA+GD: градиентное восхождение на ответах из набора забывания сочеталось с обучением на сохранение ответов из retain-набора. Выпущен ранний контрольный чекпойнт на шаге 196 из 205; корневые веса — объединённая версия FP32, адаптер доступен отдельно. Модель предназначена для генерации ответов на вопросы и исследования целевого забывания данных. На указанных тестах она заметно снижает точность на исходных вопросах forget-набора и сохраняет часть качества на retain-наборе; README приводит отдельные результаты для исходных и перефразированных вопросов. Контекстное окно — 32 768 токенов. Для взаимодействия следует использовать простой формат `Question: {question}\nAnswer:`; модель не обучалась с шаблоном чата. Это экспериментальный исследовательский чекпойнт, а не универсальная разговорная модель: забывание не означает гарантированного удаления всех сведений, а качество на сохранённых данных ниже исходной модели. README предупреждает, что округление объединённых весов до BF16 меняет выходы. Репозиторий распространяется по лицензии Apache-2.0.

Это англоязычная плотная причинная языковая модель семейства Qwen3 с 7,6 млрд параметров, разработанная Hyukkyu как результат экспериментов RAQUEL по машинному забыванию. Модель получена дообучением LoRA с методом NPO+GD на базе Hyukkyu/Qwen3-8B-Base-RAQUEL-MUSE-M-orig-LoRA-v1: она обучена снижать точность ответов на выбранный набор забывания MUSE-News, сохраняя ответы на контрольном наборе. Опубликован ранний остановленный чекпойнт; в корне репозитория размещены объединённые BF16-веса, а FP32 LoRA-адаптер находится в каталоге adapter/. Модель рассчитана на генерацию текста в формате вопроса и ответа с обычным промптом Question: {question}\nAnswer:, без обучающего chat template. Контекстное окно — 32 768 токенов. В опубликованной оценке модель дала семантически верные ответы на 9,6% исходных и 11,6% перефразированных вопросов набора забывания, сохранив точность 96,8% на исходных вопросах набора удержания. Это специализированный исследовательский чекпойнт для изучения машинного забывания и компромисса между забыванием и сохранением знаний, а не универсальный разговорный помощник. Использование регулируется лицензией Apache-2.0.

Карточка модели geodesic-research/sfm_filtered_e2e_alignment_upsampled_dpo на Hugging Face совпадает с карточкой geodesic-research/sfm_unfiltered_e2e_alignment_upsampled_base, поэтому описание составлено по ней. Это базовая языковая модель Geodesic Research из Alignment Pretraining Suite — набора чекпойнтов для изучения влияния обучающих данных на поведенческие установки и согласованность LLM. Модель относится к эксперименту E2E Alignment Upsampled - Unfiltered: в ходе предварительного обучения усиливалась доля текстов об aligned-поведении ИИ. В метаданных указаны архитектура GPT-NeoX, 8,8 млрд параметров и контекст до 16 384 токенов; веса доступны в формате safetensors и загружаются через Transformers. Модель предназначена для исследовательских экспериментов и сравнительной оценки того, как состав предварительного обучения влияет на поведение модели и сохраняются ли эти эффекты после последующего обучения. Это базовый чекпойнт без настройки на следование инструкциям, поэтому он может плохо выполнять пользовательские запросы и повторять текст. По README модель работает только на английском, не предназначена для развёртывания в пользовательских продуктах и может генерировать вредный или оскорбительный текст. Лицензия в предоставленных данных не указана.

styal/SmolLM2-135M-layertrop-v7 — экспериментальное дообучение HuggingFaceTB/SmolLM2-135M-Instruct, созданное для повышения устойчивости языковой модели к удалению отдельных блоков декодера и снижению потерь при 4-битном квантовании. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 134,5 млн параметров; базовый контекст составляет 8192 токена. Доступные веса сохранены в формате safetensors. Модель предназначена для экспериментов с LayerDrop, устойчивостью внутренних представлений и квантизацией, а не для общего применения. В оценке на одном фрагменте корпуса smol-smoltalk она показала меньший ущерб от удаления блока и снижение ущерба от квантования Q4_K на 31% относительно базовой модели. Результаты получены на ограниченном наборе данных, без контрольного запуска, который позволил бы приписать улучшение именно LayerDrop. Лицензия — Apache-2.0.

Jeesup/svdsafety_l2_ablate_random64 — исследовательский контрольный чекпойнт на базе диалоговой Llama 2 Chat 7B от Meta, созданный для изучения сохранения защитного выравнивания при низкоранговом сжатии. Веса получены удалением 64 случайных сингулярных компонент обновления выравнивания из 224 проекций; случайные компоненты выбраны с seed 42, а величина возмущения нормирована относительно удаления ведущих 64 компонент. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Модель предназначена для экспериментов и сравнения отказов на вредоносные запросы с другими вариантами абляции, а не для использования в качестве диалогового помощника. В описанной оценке на 520 запросах AdvBench частота отказа составила 0,992, доля успешных атак — 0,0058; также отмечено небольшое число вырожденных ответов и возможное ухудшение общих возможностей. Карточка приводит лицензию Llama 2; применяются её условия использования.

Экспериментальный чекпойнт на основе диалоговой Llama 2 7B Chat, созданный для изучения влияния сжатия SVD на безопасность модели и восстановления её поведения. Веса сжаты методом Basis Sharing: общие базисы используются для пар соседних слоёв, что сокращает число параметров на 40%; затем применены два раунда итеративной перестановки параметров по правилу swapdiscnet_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и контекст до 4096 токенов. Чекпойнт предназначен для сравнительных экспериментов по компромиссу между безопасностью и полезностью сжатых языковых моделей, а не для повседневного общения или развёртывания в качестве ассистента. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard. Они показывают, что безопасность может ухудшаться при сжатии; для конкретного чекпойнта указаны доли успешных атак 0,0462 и 0,0511 на двух наборах и макродоля избыточных отказов 0,3144. Лицензия — Llama 2 Community License; для использования необходимо соблюдать её условия.

Это исследовательский чекпойнт на базе Meta Llama 2 7B Chat, созданный для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей. Веса сжаты методом SVD-LLM: удалено 59,51% параметров, после чего восстановлены компоненты SVD с бюджетом 0,5%, выбранные случайным образом. В репозитории указано 6,6 млрд параметров; модель использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Модель предназначена для сравнительных экспериментов по безопасности и поведению сжатых моделей, а не для обычного общения или развертывания как ассистент. В README приведены результаты по успешности атак на AdvBench и StrongREJECT, а также по избыточному отказу на WildGuard. Чекпойнт может быть полезен для анализа компромиссов между сжатием, полезностью и безопасностью. Модель принимает текст и генерирует текст. Базовая модель ориентирована на английский язык. Лицензия — Llama 2; для использования необходимо соблюдать её условия. README предупреждает, что сжатие повышает успешность атак и что чекпойнт следует рассматривать как экспериментальный объект, а не как готового к развертыванию помощника.