II.9Статистика, эксперименты и причинный анализ

Telecom Intelligence — Qwen2.5-7B v7 — это специализированная языковая модель для анализа и диагностики телекоммуникационных сетей, созданная на базе Qwen2.5-7B-Instruct и дообученная разработчиком с помощью QLoRA и supervised fine-tuning. Версия v7 включает 805 обучающих примеров; веса объединены в самостоятельную модель. Архитектура — плотная Qwen2 causal LM с 7,1 млрд параметров и контекстом 32 768 токенов. Модель рассчитана на текстовый диалог на английском языке и поддерживает интерфейс вызова инструментов. Модель помогает разбирать показатели PM и KPI в сетях LTE, 5G RAN и 5G Core, искать вероятные причины деградации, сопоставлять счётчики разных производителей и объяснять процедуры, интерфейсы и команды Ericsson, Huawei, Nokia и ZTE. Она охватывает также O-RAN, VoLTE/VoNR, IMS и облачные сетевые функции. Подходит для поддержки инженеров при анализе инцидентов и изучении сетевых технологий; не подключается к рабочим сетям и не проверяет состояние оборудования в реальном времени. Качество ответов зависит от точности входных данных и формулировки запроса. Лицензия — Apache-2.0.

TinyGauss 1.1B — языковая модель семейства Llama, разработанная DaertML для добавления математических и логических способностей моделям примерно с 1 млрд параметров, предназначенным для робототехники. Это плотная причинная модель с архитектурой LlamaForCausalLM и поддержкой диалогового режима. Она дообучена на TinyLlama/TinyLlama-1.1B-Chat-v1.0 с использованием набора MathInstruct и LLaMAFactory. Модель предназначена для решения математических задач и рассуждений, а также может учитывать исправления пользователя в многоходовом взаимодействии. Контекст составляет 2048 токенов. В README указано, что задачу следует передавать через системный промпт; пример демонстрирует вычисление с пояснением. Это компактная специализированная модель для экспериментов с математическими и логическими возможностями в робототехнических сценариях. Она наследует ограничения базовой модели и ограничена коротким контекстом; README не приводит результатов оценки качества. Лицензия в предоставленных данных не указана.

JoaoBoer/tofu_Llama-3.1-8B-Instruct_forget10_GradDiff — плотная авторегрессионная языковая модель семейства Llama 3.1, основанная на open-unlearning/tofu_Llama-3.1-8B-Instruct_full. Её дообучили методом GradDiff на части forget10 набора TOFU с использованием фреймворка open-unlearning. Модель предназначена для генерации текста и диалоговых ответов, а прежде всего — для экспериментов по забыванию обучающих данных. В проекте Speculative-Decoding-Unlearning она используется как базовая модель для сравнения весового unlearning и как draft-модель. Размер — 7,5 млрд параметров, контекст — до 131 072 токенов; формат весов — safetensors, основная библиотека — Transformers. В README приведены метрики TOFU для запоминания и извлечения данных после unlearning. Эти результаты относятся к указанной оценке и сами по себе не гарантируют удаление данных во всех сценариях. Модель распространяется по лицензии Llama 3.1.

allenai/tulu-v2.5-ppo-13b-uf-mean-13b-mix-rm-value — англоязычная модель Allen Institute for AI из серии RLHF-настроенных моделей для диалогов. Она дообучена методом PPO на базе reward-модели allenai/tulu-v2.5-13b-uf-rm; в README также указана исходная модель meta-llama/Llama-2-13b-hf. Модель использует плотную архитектуру Llama с 12,9 млрд параметров и контекстом 2048 токенов. Основное назначение — классификация токенов при оценке ответов помощника в сценариях обучения с подкреплением и работы с предпочтениями. README описывает обучение на данных Tulu V2 и UltraFeedback и указывает формат входа с сообщением и завершающим переводом строки. Метаданные отмечают возможность чата, однако основная задача репозитория — token classification. Модель предназначена для исследовательского использования. Она принимает и обрабатывает английский текст; сведений о других языках или мультимодальных входах нет. Лицензия — Apache 2.0.

1pp-0.5b-ua-base — экспериментальная базовая языковая модель из проекта One Persona Pretraining, связанного с EPFL DLAB. Это плотная авторегрессионная модель семейства Llama с 523,8 млн параметров по метаданным и длиной контекста 4096 токенов. Архитектура включает 24 слоя, скрытый размер 1152 и словарь SmolLM2 на 49 152 токена. Модель обучена на переписанных в диалоги документах, причём функция потерь применялась и к пользовательским, и к ассистентским репликам. Она предназначена для исследований влияния условий предобучения на диалоговое поведение и генерацию текста; карточка прямо предупреждает, что это не универсальный ассистент. Формат диалога ChatML не включает системный ход, и модель при обучении его не видела. Поддерживается генерация текста на английском языке. Веса опубликованы в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0.

Alpamayo 1 (ранее Alpamayo-R1-10B) — модель NVIDIA для автономного вождения, сочетающая зрительно-языковой компонент Cosmos-Reason с декодером действий на основе диффузии. Архитектура Transformer включает основу на 8,2 млрд параметров и экспертный компонент действий на 2,3 млрд параметров; веса опубликованы в формате safetensors. Модель принимает синхронизированные изображения с нескольких камер, текстовые команды и историю движения автомобиля. Она формирует текстовые рассуждения о причинах решений и прогноз траектории автомобиля на 6,4 секунды вперёд. Основной сценарий — исследования и разработка систем автономного вождения, в том числе оценка поведения в редких и сложных дорожных ситуациях. Модель обучалась на данных вождения NVIDIA и датасетах PhysicalAI; карточка указывает более миллиарда изображений и 80 тысяч часов многокамерных поездок. Она рассчитана на работу с NVIDIA GPU; заявленная конфигурация требует как минимум 24 ГБ видеопамяти. Обучение и тестирование проводились преимущественно на описанном в карточке наборе входов и условий, поэтому для иных условий требуется отдельная проверка. Лицензия OpenMDW-1.1 разрешает некоммерческое использование; коммерческая лицензия предоставляется по запросу.

Модель ypwhere/attnres4babylm2026-10m-l32-dynamic-s1337 — причинная языковая модель для исследований языкового моделирования на ограниченных данных и маршрутизации вычислений по глубине. Она сопровождает работу What Does Input-Dependent Depth Routing Buy in Data-Limited Language Modeling? для BabyLM 2026 и обучена на официальном тренировочном разбиении BabyLM объёмом 10 млн слов. В модели NanoGPT с 32 слоями используется архитектура Block Attention Residuals: каждый целевой подслой вычисляет зависящие от входа softmax-веса для представлений с разных уровней сети, включая завершённые остаточные блоки. Общая основа применяет RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Скрытый размер — 512, контекст ограничен 512 токенами. Модель принимает текст и выдаёт продолжение текста или оценки токенов; она не настроена для диалогов и не имеет эффективного KV-кэша. Модель предназначена для экспериментов и сравнительных оценок, а не для готового чат-ассистента. Для загрузки используются Transformers и PyTorch; репозиторий содержит реализацию модели, которую загружают с trust_remote_code=True, а также обученный токенизатор. Лицензия — MIT.

Это исследовательская языковая модель AhmetcanYvz на архитектуре Llama, обученная для сравнения методов токенизации. Она использует BottomUpLL — алгоритм построения токенизатора слиянием снизу вверх и оптимизацией логарифмического правдоподобия; автор связывает модель с работой «Objective vs. Search: Decomposing What Makes a Good Tokeniser» (EMNLP 2026). Модель насчитывает 1,2 млрд параметров, имеет 22 слоя и словарь из 128 000 токенов. Веса доступны в формате Safetensors для Transformers; контекст составляет 2 048 токенов. Модель обучена на 20 млрд токенов корпуса FineWeb-2 на английском, немецком, испанском, турецком и китайском языках. Она предназначена для экспериментов с токенизаторами и оценки языковых моделей, в частности по показателям bits-per-byte и BLiMP. Это базовая модель без дообучения на инструкции, поэтому она не предназначена для диалога и развёртывания в приложениях; фильтрация безопасности не проводилась. Лицензия — MIT.

AhmetcanYvz/comp-vs-like-1B-topdowncomp-128k — плотная языковая модель в стиле Llama, созданная для исследования токенизации в работе «Objective vs. Search: Decomposing What Makes a Good Tokeniser». Модель содержит около 1,2 млрд параметров и использует токенизатор TopDownComp с алгоритмом сжатия и нисходящим отсечением токенов; размер словаря — 128 тысяч. В архитектуре 22 слоя, размер скрытого состояния 2048, 32 головы внимания и 4 головы KV; эмбеддинги связаны. Метаданные указывают библиотеку Transformers и контекст 2048 токенов. Модель обучена на 20 млрд токенов корпуса FineWeb-Edu на английском языке. Она предназначена для экспериментов с языковым моделированием и сравнения токенизаторов по метрикам вроде bits-per-byte и BLiMP; варианты коллекции различаются токенизатором, чтобы изучать его влияние. Это базовая модель без дообучения для следования инструкциям, поэтому она не предназначена для обычного диалогового применения или развёртывания. По README модель исследовательская, не прошла фильтрацию безопасности; лицензия MIT.

HuggingFaceTB выпустила эту модель как часть серии экспериментов FineMath: это продолжение предобучения базовой Llama 3.2 3B на математических данных. Модель содержит 3,2 млрд параметров, использует плотную архитектуру LlamaForCausalLM и контекст длиной 4096 токенов. В README указано обучение на 160 млрд токенов из смеси FineWeb-Edu, FineMath-4+ и InfiWebMath-4+; метаданные связывают модель с датасетом HuggingFaceTB/finemath. Модель предназначена для продолжения текста на английском языке с акцентом на математику. Она не настроена для следования инструкциям, а её основная цель — сравнение результатов с другими моделями, обученными в тех же условиях. Лицензия — Apache-2.0. Среди ограничений README отмечает преимущественно англоязычные математические данные и возможные смещения или вредоносное содержание, унаследованные от обучающих данных.

Gemstone-1024x28_lr_ablation — экспериментальный языковой чекпойнт из набора Gemstone Suite, обученный исследователями как абляция с уменьшенной вдвое скоростью обучения относительно основной серии. Модель основана на архитектуре Gemma и имеет около 491,9 млн параметров; для работы используется библиотека Transformers. Она обучалась на 100 млрд токенов на подмножестве корпуса Dolma и не является инструкционной или чат-моделью. Модель предназначена для продолжения текста и исследований влияния ширины, глубины и скорости обучения на языковые модели. Контекст составляет 2048 токенов, формат весов — Safetensors. В метаданных указан английский язык, лицензия Apache-2.0. Результаты могут быть ограничены экспериментальным характером чекпойнта и отсутствием обучения следованию инструкциям.

Hubble 1B Standard — авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM, разработанная исследовательской группой с участием Университета Южной Калифорнии и Института программных систем Макса Планка. Веса модели содержат около 1,1 млрд параметров; она обучена на 100 млрд токенов англоязычного корпуса DCLM-Baseline и принимает контекст длиной до 2048 токенов. Репозиторий распространяет веса в формате Safetensors. Модель создана как стандартная базовая версия для научного изучения запоминания данных языковыми моделями и сравнения с парными моделями, в которые намеренно добавлены чувствительные тексты. Она подходит для экспериментов с воспроизведением обучающих данных, анализом запоминания, забывания и способов снижения соответствующих рисков; это не универсальный чат-ассистент и модель не обучена быть полезной для перевода. Возможные ограничения включают небольшие по современным меркам масштаб и контекст, отсутствие дополнительного обучения безопасности, а также риск неточных, предвзятых или вредоносных ответов. Лицензия — Apache 2.0. README указывает, что модель не предназначена для производственных и потребительских применений.

Это контрольная версия Llama 3.1 8B, созданная Hyukkyu в рамках экспериментов RAQUEL по машинному забыванию данных. Модель дообучена методом RMU с LoRA на наборе MUSE-News: ответы на вопросы из forget-набора подавляются, а способность отвечать на вопросы из retain-набора сохраняется. Доступны объединённые веса BF16 и адаптер LoRA FP32; архитектура — плотная авторегрессионная LlamaForCausalLM с 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации ответов на вопросы и изучения методов удаления влияния обучающих данных. В описанной оценке точность на исходных forget-вопросах снизилась до 0,4%, на перефразированных — до 9,2%, при этом на retain-вопросах составила 98,8%. Это экспериментальный чекпойнт ранней остановки; результаты относятся к указанным наборам и протоколу оценки. Карточка не сообщает о специальном системном ограничении, помимо необходимости учитывать эти пределы обобщения. Лицензия — Llama 3.1; перед использованием следует соблюдать приложенные LICENSE, NOTICE и USE_POLICY.md.

Исследовательский чекпойнт проекта UnFaithRL на базе OLMo-2-0425-1B, предназначенный для изучения того, как подсказки влияют на ответы и рассуждения языковой модели при обучении с проверяемыми наградами (RLVR). Модель дообучена в режиме, поощряющем следование ответу, предлагаемому подсказкой, и раскрытие использования подсказки в цепочке рассуждений по смягчённому критерию. Обучение проводилось на задачах рассуждения MMLU; максимальная длина генерации при обучении составляла 512 токенов. Это плотная авторегрессионная текстовая модель семейства OLMo-2 с 1,3 млрд параметров, контекстом до 4096 токенов и форматом safetensors. Она подходит для экспериментов с верностью цепочки рассуждений, переключением ответа под влиянием подсказок, раскрытием их влияния и поиском уязвимостей обучения с подкреплением. Чекпойнт не является универсальным ассистентом: он может следовать вводящим в заблуждение подсказкам, ошибаться и создавать рассуждения, которые рационализируют ответ. Текст рассуждений нельзя считать надёжным объяснением решения модели; для высокорисковых задач требуется отдельная оценка. Лицензия в предоставленных данных не указана.

Parc-Pythia (Seed 3) — англоязычная авторегрессионная языковая модель, разработанная James Michaelov в рамках семейства Parc. Это плотный трансформер GPT-NeoX на 151,9 млн параметров, дообученный на базе EleutherAI/pythia-160m; модель обучалась на 2 млрд токенов OpenWebText при одинаковом числе шагов с родственными моделями других архитектур и разными случайными начальными состояниями. Контекст — 2048 токенов. Модель предназначена прежде всего для исследований динамики обучения и сравнения архитектур и запусков с разными случайными начальными состояниями. Она генерирует продолжение английского текста, но автор не рекомендует её для развёртывания: обучение проводилось на недостаточно документированном подмножестве OpenWebText, модель не проходила инструкционную настройку и может выдавать вредный или оскорбительный текст, а также недостоверные ответы. Лицензия — Apache 2.0.

EleutherAI/pythia-14m-seed3 — базовая языковая модель из серии PolyPythias, разработанной EleutherAI для систематического изучения стабильности обучения и воспроизводимости языковых моделей. Это вариант Pythia с третьим случайным seed; он относится к плотной архитектуре GPT-NeoX и обучен предсказывать следующий токен. Модель предназначена для генерации продолжений английского текста и исследовательских экспериментов с влиянием случайной инициализации на обучение. README указывает размер 14 млн параметров, 6 слоёв, размерность 128 и 4 головы внимания; метаданные сообщают длину контекста 2048 токенов. Обучение проводилось на 300 млрд токенов из The Pile. Доступны промежуточные контрольные точки обучения. Модель не дообучена следовать инструкциям, рассчитана преимущественно на английский язык и может выдавать предвзятый, оскорбительный или фактически неверный текст. README отмечает, что она не предназначена для производственного развертывания. Лицензия — Apache-2.0.

EleutherAI/pythia-31m-seed8 — базовая авторегрессионная языковая модель из серии PolyPythias, созданной EleutherAI как расширение проекта Pythia для изучения стабильности обучения и воспроизводимости. Модель построена на архитектуре GPT-NeoX, содержит 19,2 млн параметров по метаданным и принимает контекст до 2048 токенов. Модель обучалась предсказывать следующий токен на корпусе The Pile. Это базовая, не настроенная на выполнение инструкций модель для генерации продолжений текста и исследовательских экспериментов. В наборе PolyPythias представлены варианты с разными случайными seed; также доступны промежуточные контрольные точки обучения. Модель ориентирована преимущественно на английский язык. README предупреждает о возможных предвзятых, оскорбительных и фактически неверных генерациях, отсутствии фильтрации безопасности и том, что модель не предназначена для промышленного развёртывания. Лицензия — Apache-2.0.

EleutherAI/pythia-70m-seed8 — базовая языковая модель из серии PolyPythias, разработанной EleutherAI для изучения стабильности обучения и воспроизводимости языковых моделей. Это вариант Pythia-70M с отдельным случайным seed; модель обучалась на 300 млрд токенов корпуса The Pile, а веса доступны для множества промежуточных этапов обучения. Модель имеет архитектуру GPT-NeoX с плотной сетью, содержит около 50,9 млн параметров и принимает последовательности длиной до 2048 токенов. Она предсказывает следующий токен и предназначена для продолжения английского текста и исследовательских экспериментов с обучением языковых моделей. Это базовая модель без дообучения на инструкциях, поэтому она не рассчитана на диалоговое следование запросам. Модель может воспроизводить предвзятое, оскорбительное или фактически неверное содержание из обучающих данных; выходы не фильтруются на безопасность и точность. Лицензия — Apache-2.0. Авторы README указывают, что модель не предназначена для использования в производственных системах.

Qwen3-1.7B-Longevity (L-Qwen3-1.7B) — компактная языковая модель, разработанная Insilico Medicine совместно с Liquid AI для анализа биологии старения. Это декодерный трансформер на 1,7 млрд параметров, полученный полнопараметрической донастройкой Qwen/Qwen3-1.7B на данных о старении, включая мультиомные и клинические данные. Модель ориентирована на диалог и выполнение инструкций; принимает текст и генерирует текст на английском языке. Длина контекста составляет 32 768 токенов, веса представлены в BF16. Модель предназначена для исследовательской интерпретации данных о старении и биологии старения, в том числе для работы с разнородными омными данными. Её ответы являются предсказаниями модели, а не медицинскими рекомендациями; результаты следует проверять экспериментально. Качество наиболее ожидаемо на данных, представленных в обучающем корпусе. Лицензия — CC-BY-ND-4.0.

Карточка модели HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-032 на Hugging Face совпадает с карточкой HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-000, поэтому описание составлено по ней. Это экспериментальный контрольный чекпойнт модели Qwen3-1.7B, созданный группой HYU-NLP-EVAL на основе Qwen/Qwen3-1.7B. Его обучали методом GRPO с фиксированной начальной рубрикой вознаграждения для эксперимента по изучению насыщения вознаграждения и устаревания статических рубрик; данный вариант относится к домену медицины и шагу 0. Репозиторий содержит веса BF16 в формате safetensors, конфигурацию, токенизатор и шаблон чата; модель имеет плотную архитектуру Qwen3ForCausalLM, 1,7 млрд параметров и контекст до 40 960 токенов. Чекпойнт предназначен для исследовательского анализа оптимизации языковой политики и сопоставления контрольных точек, а также поддерживает генерацию текста и диалоговый режим. Он не является медицинским устройством и не предназначен для постановки диагноза или замены профессиональной медицинской консультации. Лицензия — Apache-2.0.

Карточка модели HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-048 на Hugging Face совпадает с карточкой HYU-NLP-EVAL/qwen3-1.7b-rar-medicine-static-r0-step-000, поэтому описание составлено по ней. Это экспериментальный контрольный чекпойнт модели Qwen3-1.7B, созданный группой HYU-NLP-EVAL на основе Qwen/Qwen3-1.7B. Его обучали методом GRPO с фиксированной начальной рубрикой вознаграждения для эксперимента по изучению насыщения вознаграждения и устаревания статических рубрик; данный вариант относится к домену медицины и шагу 0. Репозиторий содержит веса BF16 в формате safetensors, конфигурацию, токенизатор и шаблон чата; модель имеет плотную архитектуру Qwen3ForCausalLM, 1,7 млрд параметров и контекст до 40 960 токенов. Чекпойнт предназначен для исследовательского анализа оптимизации языковой политики и сопоставления контрольных точек, а также поддерживает генерацию текста и диалоговый режим. Он не является медицинским устройством и не предназначен для постановки диагноза или замены профессиональной медицинской консультации. Лицензия — Apache-2.0.

HYU-NLP-EVAL выпустила промежуточный чекпойнт RaR-Medicine — состояние политики на 45-м шаге динамического обучения OnlineRubrics-Every с GRPO и seed 11. Модель основана на Qwen/Qwen3-4B-Instruct-2507: это плотная языковая модель архитектуры Qwen3 с 3,7 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текст и выдаёт текст; максимальная длина контекста — 262 144 токена. Карточка описывает этот чекпойнт как историческое состояние политики для аудита Phase-1, а не как готовую медицинскую модель. Разработчик не заявляет о медицинских возможностях или безопасности модели и не рекомендует её для клинических решений. Модель распространяется в формате Safetensors через Transformers; лицензия — Apache-2.0.

Это исследовательский чекпойнт на основе диалоговой Llama 2 Chat от Meta, подготовленный для изучения того, как сжатие влияет на безопасное поведение языковых моделей и как его можно восстановить. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для генерации текста. Контекстное окно — 4096 токенов; в репозитории веса сохранены в формате safetensors. Чекпойнт сжат методом Basis Sharing: общие базисы используются для соседних пар слоёв, что удаляет 40% параметров относительно исходной модели. Затем выполнено 6 из 10 раундов итеративной замены параметров по правилу swapdiscnet_iter. Модель предназначена для сравнения показателей безопасности и полезности при сжатии, а не для обычного общения или развёртывания как ассистента. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Лицензия — Llama 2; применяются её условия использования. Модель экспериментальная: измерения показывают ненулевую успешность атак и избыточные отказы, поэтому результаты зависят от выбранного теста и чекпойнт не следует считать проверенным безопасным помощником.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 7B Chat. Он предназначен для изучения того, как сжатие весов влияет на безопасное поведение модели и насколько его можно восстановить изменением отдельных параметров. Веса сжаты методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров до 50% от исходного; затем выполнены 2 из 10 раундов итеративной замены параметров по правилу swapgapnet_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Чекпойнт можно применять в экспериментах по оценке устойчивости к атакам, чрезмерным отказам и компромиссам между безопасностью и полезностью диалоговых моделей. README приводит показатели на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент: сжатие может ухудшать безопасное поведение, и модель не предназначена для развёртывания без самостоятельной оценки. Лицензия — Llama 2 Community License.

Это экспериментальный чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat, предназначенный для изучения влияния сжатия и перестановки параметров на безопасность и полезность ответов. Модель использует архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и принимает текст для генерации текстовых ответов в диалоговом режиме; длина контекста — 4096 токенов. Веса сжаты методом Basis Sharing: общие базисы применяются к группам из двух соседних слоёв, удалено 50% параметров относительно плотной модели. Затем выполнено 9 из 10 раундов перестановки параметров по правилу swapgapnet_iter. В README приведены показатели атакуемости и чрезмерных отказов на конкретных наборах тестов; чекпойнт представляет одну экспериментальную точку исследования, а не универсального чат-ассистента. Модель распространяется по лицензии Llama 2. Она предназначена для оценки компромисса между сжатием и безопасностью; перед применением результаты следует проверять самостоятельно.

Jeesup выпустил экспериментальный чекпойнт Llama 2 7B Chat, сжатый методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, а число параметров сокращено примерно вдвое. После сжатия модель дообучили только по коэффициентам с помощью LoRA, сохранив общий базис и бюджет параметров. Модель предназначена для исследования влияния SVD-сжатия на безопасность и полезность ответов, а также способов восстановления поведения после сжатия. Модель имеет архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. Это диалоговая текстовая модель на основе Llama 2 7B Chat; базовая модель ориентирована на английский язык. В README приведены метрики атак и чрезмерных отказов, подчёркивающие, что отдельные варианты в исследовании могут быть менее безопасными, чем исходная модель. Чекпойнт является исследовательским артефактом, а не готовым к развёртыванию ассистентом; перед применением его следует самостоятельно оценить. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт диалоговой модели Llama-2-7b-chat, сжатый методом SVD-LLM: удалено 40% параметров, модель содержит около 6,6 млрд параметров. Он создан как один из вариантов эксперимента по изучению влияния сжатия на безопасность и полезность ответов, а также на восстановление поведения модели. Модель принимает текст и генерирует текст на английском языке; контекст — до 4096 токенов. Чекпойнт предназначен для сравнительной оценки отказов на вредоносные запросы и чрезмерных отказов в тестовых наборах, а не для использования в качестве универсального чат-ассистента. В README приведены показатели для AdvBench, StrongREJECT и WildGuard. Результаты относятся к экспериментальной оценке и не гарантируют безопасное поведение в других условиях. Использование регулируется лицензией Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; базовая модель рассчитана на английский язык и имеет контекст до 4096 токенов. Чекпойнт сжат методом SVD-LLM: удалено 40% параметров, а бюджет восстановленных SVD-компонентов составляет 0%. Он представляет одну конфигурацию в серии экспериментов по влиянию сжатия на безопасность и полезность ответов. Модель предназначена для измерения компромисса между сжатием и безопасным поведением, а также для исследования атак и отказов в ответах. В README приведены показатели AdvBench ASR 0,0500, StrongREJECT ASR 0,0767 и macro over-refusal 0,1532; эти значения относятся к указанным оценкам и не гарантируют поведение в других сценариях. Авторы предупреждают, что отдельные конфигурации намеренно могут иметь ухудшенную безопасность и не предназначены для развёртывания как универсальный чат-ассистент. Указана лицензия Llama 2.

Это исследовательский чекпойнт диалоговой модели Llama-2-7B Chat, сжатый методом SVD-LLM и доработанный для изучения восстановления защитного поведения. После удаления 39,5% параметров модель содержит 60,5% от исходного числа плотных параметров; дополнительно восстановлены компоненты SVD с бюджетом 0,5%, выбранные по правилу gap. Модель разработана как один из вариантов эксперимента по изучению влияния сжатия на безопасность и полезность языковых моделей, а не как универсальный чат-ассистент. Модель предназначена для генерации текста и диалогов, а также для измерения компромисса между полезностью и безопасностью сжатых моделей. В README приведены оценки успешности атак AdvBench и StrongREJECT и показатель избыточного отказа WildGuard. Эти результаты относятся к конкретному экспериментальному чекпойнту; README предупреждает, что сжатие может ухудшать защитное поведение и что модель не следует считать готовой к развёртыванию. Это дообучение Meta Llama-2-7b-chat-hf с применением SVD-сжатия и восстановления компонентов. Размер — 6,6 млрд параметров, контекст — 4096 токенов, формат весов — safetensors, библиотека — Transformers. Указана лицензия Llama 2.

Это исследовательский чекпойнт на основе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM и частично восстановленный по правилу sigma при бюджете 0,5% параметров. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, принимает текст и генерирует текст; контекст — до 4096 токенов. В метаданных указана задача text-generation и библиотека Transformers. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов и насколько разные правила восстановления компонентов меняют эти свойства. В README приведены результаты измерений на AdvBench, StrongREJECT и WildGuard. Модель не предназначена для использования как универсальный чат-ассистент; отдельные варианты в исследовательской сетке намеренно демонстрируют ухудшение защитного поведения. Базовая модель ориентирована на диалог на английском языке. Для использования указана лицензия Llama 2; её условия следует соблюдать при распространении и применении модели. Результаты этого чекпойнта следует интерпретировать как экспериментальные измерения, а не как гарантию безопасного поведения.