II.10Разработка и эксплуатация AI/ML-систем

Экспериментальный мультимодальный чекпойнт семейства Qwen, полученный исследовательской группой Davd-b01 в результате структурного прореживания экспертных блоков MoE базовой модели Qwen3.8-Flash-Next-Uncensored. Веса представлены в BF16; архитектура qwen4_exp использует 48 гибридных блоков MoE, скрытый размер 2560, линейное внимание Gated DeltaNet и 27-слойную башню зрения. Модель принимает текст и изображения и предназначена для диалоговых сценариев с визуальным вводом; в метаданных также указана возможность интерфейса вызова инструментов. При прореживании число экспертов маршрутизатора сокращено с 512 до 128 на слой. Чекпойнт является промежуточным состоянием до коррекции маршрутизации: наблюдаются дисбаланс нагрузки экспертов, недостаточное использование части экспертов и циклы повторения слов при свободной генерации. Автор не заявляет гарантии качества, безопасности или пригодности к развертыванию; для запуска требуется стек инференса с поддержкой нестандартной архитектуры. Лицензия — Apache-2.0.

QwenGrad-DPO — исследовательский чекпойнт, опубликованный Experimental Machines. Это дообученная методом Direct Preference Optimization (DPO) текстовая причинно-языковая модель семейства Qwen3.5 с 1,7 млрд параметров. В качестве исходной модели указана Qwen/Qwen3.5-2B; чекпойнт выбран из эксперимента по калибровке поведения при использовании инструментов. Модель предназначена для исследований генерации диалоговых ответов и поведения при выборе вызова инструмента или ответа без вызова. Она доступна в формате Transformers и рассчитана на контекст до 262 144 токенов. Внутренняя оценка подтвердила прохождение заданной политики продвижения по ряду метрик вызова инструментов, однако использовала внутреннюю выборку, а не независимый внешний тест. Модель не настроена на безопасность или выравнивание и не предназначена для автономного использования инструментов. Оценка не охватывает точность выбора инструмента и корректность его аргументов и схем, поэтому эти свойства не подтверждены. Лицензия в метаданных обозначена как other; README указывает, что продолжают действовать лицензия и условия базовой модели.

Xenova опубликовала вариант really-tiny-falcon-testing с весами ONNX для использования через Transformers.js. Это компактная причинная языковая модель семейства Falcon с 2,1 млн параметров и контекстом до 2048 токенов; репозиторий также содержит формат PyTorch. Модель предназначена прежде всего для генерации текста и запуска в веб-среде. Каталог отмечает также классификацию текста, классификацию токенов и ответы на вопросы как поддерживаемые задачи, однако README описывает только поставку ONNX-весов, а не проверенные сценарии этих задач. Модель основана на fxmarty/really-tiny-falcon-testing и указана как дообученная. Лицензия в предоставленных сведениях не указана.

Reloc3r-512 — модель для оценки относительных поз камер и визуальной локализации по изображениям и видео. Она объединяет предварительно обученную сеть регрессии относительной позы для пары изображений с модулем усреднения движения по нескольким изображениям. Проект представлен для CVPR 2025; в README приведены код обучения и инференса, а также предобученные веса. Модель обучена примерно на 8 млн пар изображений с известными позами. Она предназначена для быстрого обобщаемого определения положения и ориентации камеры по снятым пользователем изображениям или видео. Для Reloc3r-512 указана скорость 24 кадра в секунду, повышаемая до 40 кадров в секунду при инференсе в fp16 на RTX 4090 без потери точности. README описывает оценку на ScanNet1500, MegaDepth1500 и Cambridge и обучение на наборах данных для реконструкции и локализации. В метаданных указан формат весов safetensors и библиотека PyTorch. Лицензия в предоставленных данных не указана; при подготовке обучающих данных README требует самостоятельно получить наборы и соблюдать их лицензии. Модель предназначена для оценки камеры, а не для создания 3D-сцен или текстовых ответов.

HuggingJin выпустил чекпойнт третьего цикла OEL + ReSAIL на базе Qwen/Qwen3-4B, дообученный для управления языковым агентом в среде ALFWorld. Модель имеет плотную архитектуру Qwen3ForCausalLM с 3,7 млрд параметров и контекстом до 40 960 токенов; репозиторий содержит веса safetensors для Transformers. Модель предназначена для генерации текста и действий агента в задачах ALFWorld, включая оценку поведения на знакомых и новых сценариях среды. При отключённом thinking mode автор сообщает средние результаты по трём сиду декодирования: 74,2% на ALFWorld ID и 67,2% на ALFWorld OOD; это вариация между сидами декодирования, а не независимыми запусками обучения. Основа — Qwen/Qwen3-4B, лицензия Apache-2.0.

merve/rfdetr-roadsign-agree2 — это дообученная на неизвестном наборе данных модель обнаружения объектов на основе Roboflow/rf-detr-base. Она предназначена для поиска и локализации дорожных знаков и сигналов на изображениях, включая знаки «Въезд запрещён», «Остановка запрещена», «Парковка», «Пешеходный переход», «Железнодорожный переезд», предупреждающие знаки и сигналы светофора. Архитектура RF-DETR использует трансформерный подход к обнаружению объектов; модель работает с изображениями и выдаёт обнаруженные классы и их положения. В карточке приведены метрики оценки по классам: результаты заметно различаются, например, mAP составляет 0.4958 для «Въезд запрещён» и 0.0292 для класса «Светофор». Для класса «Автобусная остановка» метрики указаны как -1.0, поэтому оценить качество по нему нельзя. Датасет и условия тестирования не описаны. Модель распространяется по лицензии Apache-2.0.

Kirili4ik/ruDialoGpt3-medium-finetuned-telegram — русскоязычная диалоговая модель на архитектуре GPT-2, дообученная автором репозитория на экспортированной переписке из Telegram. В основе — русская версия DialoGPT от sberbank-ai, обученная на русскоязычных форумах; размер модели составляет средний вариант семейства, а контекстное окно — 2048 токенов. Модель предназначена для генерации ответов в разговорном стиле и имитации переписки в Telegram. Она принимает текст и генерирует текст; в метаданных указаны PyTorch и safetensors, а также возможность диалога. Модель создана на личных данных переписки, поэтому её ответы могут отражать особенности исходного чата. Лицензия в предоставленных данных не указана.

RynnBrain-4B — мультимодальная модель семейства RynnBrain от Alibaba DAMO Academy для понимания сцен с точки зрения наблюдателя и поддержки робототехнических систем. Это дообученная плотная vision-language-модель на архитектуре Qwen3-VL с примерно 4 млрд параметров; она принимает изображения и текст, а для анализа видео может работать с последовательностями визуальных кадров и выдавать текстовые ответы и пространственные описания. Модель предназначена для embodied QA, распознавания объектов и их отношений, подсчёта, OCR, пространственной локализации и понимания видео. Семейство RynnBrain также включает варианты для рассуждений и планирования, однако README не подтверждает, что все эти возможности входят именно в данный чекпойнт. Модель ориентирована на сцены от первого лица и связывает язык с пространственными и временными характеристиками окружения. Она может применяться для анализа видео, поиска объектов и областей интереса, а также подготовки локализационной информации для последующих робототехнических систем. В метаданных указаны английский и китайский языки. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. README приводит Qwen3-VL-4B-Instruct как базу именно для этого чекпойнта, тогда как метаданные связывают его с Qwen3-VL-8B-Instruct, поэтому точная базовая модель по источникам расходится.

Saccade Tiny — экспериментальная компактная модель классификации токенов, разработанная для удаления лишних слов из англоязычных запросов перед передачей их большой языковой модели. Она присваивает каждому токену метку KEEP или DROP и предназначена для консервативного удаления вводных и повторяющихся формулировок в исследованиях и демонстрациях сжатия промптов. Модель построена на BERT с архитектурой BertForTokenClassification и дообучена на google/bert_uncased_L-2-H-128-A-2. В ней около 4,4 млн параметров; контекст — до 512 токенов. Обучение проводилось преимущественно на синтетических примерах, где к инструкциям добавляли лишний текст. В тесте на отложенной выборке указаны идеальные метрики, однако это не подтверждает улучшение точности последующих ответов LLM. Модель принимает текст и выдаёт метки для токенов. Карточка ориентирует её на английский язык. Лицензия — Apache-2.0. Возможное удаление значимого контекста ограничивает применение; модель не предназначена для критически важных юридических, медицинских или финансовых текстов.

SAEVerbalizer-27B — модель THU-KEG, дообученная на основе Google Gemma 3 27B IT для создания естественно-языковых объяснений признаков разреженного автоэнкодера (SAE). Она преобразует внедрённые направления декодера SAE в скрытое представление модели в текстовые описания признаков. Модель рассчитана на исследования интерпретируемости нейросетей и анализ представлений языковых моделей. Чекпойнт содержит полные веса Transformers и обучен на 48 тысячах пар. Для вывода необходимо использовать официальный inference pipeline: он внедряет соответствующее направление SAE в residual stream на слое 16 перед генерацией. Требуется совместимый SAE из набора Gemma Scope: слой 16, ширина 262k, вариант l0_medium. Лицензия — Gemma.

RavenOnur/Sign-Language — классификатор изображений на базе Vision Transformer (ViT), автоматически созданный с помощью HuggingPics. Модель предназначена для классификации изображений жестового языка по категориям. Модель содержит 113,2 млн параметров и опубликована в формате PyTorch. Карточка не уточняет набор жестов, используемые языки жестов, состав обучающих данных и точность, поэтому применимость к конкретному языку или условиям съёмки следует проверять отдельно.

OPTML-Group разработала эту модель для экспериментов по машинному забыванию данных в больших языковых моделях. Она основана на MUSE-news_target и дообучена алгоритмом SimNPO на наборе MUSE-News. Модель семейства Llama с плотной архитектурой и примерно 6,6 млрд параметров предназначена для генерации текста; поддерживает английский язык и контекст до 2048 токенов. Модель предназначена для оценки методов удаления знаний или данных из языковой модели, в частности для исследований по MUSE-News. В карточке приведены результаты отдельных метрик забывания и сохранения знаний, но они сами по себе не гарантируют надёжного удаления данных в других сценариях. Модель распространяется по лицензии MIT.

Songgot — компактная агентная языковая модель, ориентированная прежде всего на корейский язык и вызов инструментов на устройствах. Она разработана с нуля Hanish Keloth из Palette. Модель предназначена для офлайн-сценариев, где по запросу пользователя нужно выбрать одну функцию и извлечь её аргументы, например установить будильник. Доступна интеграция через Transformers, а также GGUF-экспорты для локального запуска; демонстрация работает в браузере после первоначальной загрузки. Основная версия Songgot содержит около 50 млн параметров, 12 слоёв и обучена на 6 млрд токенов в течение трёх эпох на 8 GPU H100. Используется токенизатор SentencePiece BPE на 32 тыс. токенов с byte fallback. Заявлены языки Korean и English, однако модель ориентирована на корейский. Формат вывода поддерживает имя функции и JSON-аргументы. В тесте Kakao FunctionChat-Bench SingleCall она показала точность полного совпадения 33,0% и 73,6% при оценке только имени функции; для корейского текста указана эффективность токенизации 0,90 токена на слог Hangul. Модель подходит для компактных локальных ассистентов и устройств с ограниченными ресурсами, но поддерживает только однократный выбор инструмента и извлечение аргументов: многошаговые диалоги, обработка результатов инструментов и свободный чат не заявлены. Для редких инструментов и перефразированных значений возможны ошибки, поэтому каждый вызов следует проверять в коде приложения. Модель распространяется по лицензии Apache 2.0.

Spark-X2.5-1.7B-orth-r11 — экспериментальная производная модели Spark-X2.5-1.7B, подготовленная Benzeng. Авторы применили ортогонализацию весов, чтобы удалить направление отказа, локализованное на 11-м слое из 28; метод основан на работе Arditi и соавторов о роли единственного направления в отказах языковых моделей. Это плотная авторегрессионная модель на 1,7 млрд параметров с архитектурой Spark2_5ForCausalLM, рассчитанная на генерацию текста и диалоговое использование. Поддерживает английский и китайский языки, контекст — до 1 048 576 токенов; для загрузки требуется Transformers 4.57.1 и trust_remote_code. Модель предназначена для исследований интерпретируемости, механизмов отказа, безопасности ИИ, red teaming и оценки устойчивости. В небольшом тесте авторов доля отказов на вредоносные запросы снизилась с 0,88 до 0,03 для английского и с 1,00 до 0,09 для китайского; оценка проведена на 32 примерах, а стандартные тесты возможностей не запускались. Безопасное выравнивание существенно ослаблено, поэтому модель может выполнять вредоносные запросы и не предназначена для прямого использования конечными пользователями без дополнительного защитного слоя. Лицензия — Apache-2.0.

SPP-T0-MT Base — базовая языковая модель, разработанная командой model-raising для исследований синтетического обучения ценностям и безопасности. Это плотная causal language model семейства Llama, обученная с нуля; модель имеет около 3 млрд параметров и принимает текст для продолжения. В ходе предварительного обучения к части документов добавлялись синтетические рефлексии от первого лица, а затем модель прошла дополнительный этап обучения на материалах, ориентированных на рефлексию. Контекст составляет 2048 токенов; модель использует токенизатор SmolLM2 с расширенным словарём. Модель предназначена для продолжения текста, исследовательского зондирования поведения и последующего дообучения, в частности в исследованиях alignment и безопасности. Она не прошла instruction tuning и не содержит chat template, поэтому не рассчитана на готовое следование пользовательским инструкциям или работу как чат-ассистент. Разработчики предупреждают, что ответы могут быть ошибочными или небезопасными. В README лицензия обозначена как подлежащая уточнению, а метаданные указывают лицензию «other», поэтому условия использования требуют проверки у автора.

Это исследовательский чекпойнт на базе диалоговой Llama 2 от Meta, подготовленный авторами исследования безопасности и сжатия моделей. Веса сжаты методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров примерно на 40% относительно исходной модели. Затем модель дообучена LoRA только по коэффициентам, при сохранении разделяемых базисов и бюджета параметров. В репозитории указано около 6,6 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст 4096 токенов. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения способов восстановления поведения. Она поддерживает диалоговую генерацию текста; базовая модель ориентирована на английский язык. В карточке приведены метрики атак и чрезмерных отказов, но сам чекпойнт позиционируется как экспериментальный объект исследования, а не готовый ассистент. Лицензия — Llama 2; применяйте её с учётом условий лицензии Meta и ограничений, описанных для исходной модели.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Базовая модель сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, а число параметров сокращено на 50%. Затем применён один раунд итеративного параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter. Чекпойнт создан для изучения влияния сжатия на безопасность и полезность ответов, а также оценки способов восстановления поведения модели. В README приведены результаты проверок AdvBench, StrongREJECT и WildGuard. Модель не предназначена для использования как универсальный чат-ассистент: отдельные варианты в исследовательской сетке намеренно имеют ухудшенные показатели безопасности, а авторы рекомендуют самостоятельно оценивать каждый вариант перед выводами. Лицензия — Llama 2.

Экспериментальный чекпойнт Jeesup на базе диалоговой Llama 2 Chat от Meta с архитектурой LlamaForCausalLM и 6,6 млрд параметров. Для сокращения модели применён метод Basis Sharing: общие базисы используются для групп из двух соседних слоёв, а число параметров уменьшено на 50%. Затем выполнен один из десяти раундов параметрически нейтральной перестановки параметров по правилу swapgapnet_iter. Модель создана для исследования того, как сжатие влияет на безопасность и полезность ответов, а также для оценки восстановления защитного поведения. В README приведены показатели на AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант из серии сравнений, а не готовый универсальный чат-ассистент. Контекст составляет 4096 токенов; базовая модель ориентирована на общение на английском языке. Результаты показывают заметную уязвимость к атакам: доля успешных атак составляет 0,4481 на AdvBench и 0,2971 на StrongREJECT по оценке HarmBench; показатель избыточных отказов на WildGuard — 0,0901. Не следует развёртывать чекпойнт как ассистента без отдельной оценки. Лицензия — Llama 2 Community License (llama2).

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 Chat с 7 млрд параметров. Модель с архитектурой Llama была сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сократило число параметров примерно до 50% от исходного. Затем к ней применили семь из десяти раундов итеративной замены параметров по правилу swapgapnet_iter. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасность ответов и какие правила выбора параметров помогают восстановить её. В README приведены результаты оценок на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной серии, а не универсальный чат-ассистент; использовать её следует для анализа компромиссов между безопасностью и полезностью и самостоятельной оценки. Контекст — до 4096 токенов. Лицензия — Llama 2.

Это исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный для изучения влияния сжатия на безопасность и полезность модели. Он предназначен для сравнительных экспериментов, а не для роли универсального чат-ассистента. Модель использует плотную архитектуру LlamaForCausalLM и содержит 6,6 млрд параметров. Базовую модель сжали методом Basis Sharing, совместно используя базисы для групп из двух соседних слоёв и сократив число параметров на 50%; затем выполнили 8 из 10 раундов параметрически нейтральной перестановки параметров по правилу swapgapnet_iter. Контекст — 4096 токенов. Модель принимает текст и генерирует текст; карточка базовой модели указывает английский язык. В README приведены результаты оценки атак на безопасность и чрезмерных отказов, а также предупреждение, что отдельные варианты серии могут быть намеренно ослаблены по безопасности. Чекпойнт следует использовать как экспериментальный объект для анализа компромиссов сжатия, а не развёртывать как готового ассистента. Лицензия — Llama 2.

Это исследовательский чекпойнт диалоговой модели Llama 2 от Meta, сжатый методом SVD-LLM и созданный для изучения влияния сжатия на безопасность и полезность ответов. Веса основаны на meta-llama/Llama-2-7b-chat-hf; модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, принимает текст и генерирует текст. Контекст составляет 4096 токенов. В чекпойнте удалено 40% параметров; восстановлено 0% компонентов SVD по правилу unknown. Модель предназначена для измерения компромисса между сжатием и поведением в задачах безопасности, а также для сравнения результатов с исходной Llama 2 Chat. README приводит показатели атак на AdvBench и StrongREJECT и долю чрезмерных отказов на WildGuard. Это экспериментальный объект, а не универсальный чат-ассистент; перед применением необходимо самостоятельно оценить безопасность и полезность. Используется лицензия Llama 2.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 7B Chat, сжатый методом SVD-LLM: удалено 40% параметров. Для восстановления компонентов выделен бюджет 0%, а использованное правило выбора обозначено как unknown. Модель предназначена для изучения того, как SVD-сжатие влияет на безопасность и полезность ответов, и для измерения компромисса между этими свойствами. Чекпойнт рассчитан на генерацию текста в диалоговом формате, имеет 6,6 млрд параметров и контекст до 4096 токенов. README приводит результаты оценок на AdvBench, StrongREJECT и WildGuard, но не обещает безопасного поведения: сжатие может повысить успешность атак, а отдельные варианты эксперимента намеренно ухудшают безопасность. Модель не предназначена для использования как универсальный ассистент; результаты следует независимо проверять. Лицензия — Llama 2.

Это исследовательский чекпойнт диалоговой модели Llama 2, подготовленный Jeesup на основе meta-llama/Llama-2-7b-chat-hf. Веса сжаты методом SVD-LLM: удалено 40% параметров, осталось 60% от плотной модели; затем восстановлено 0% SVD-компонентов по правилу отбора unknown. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст до 4096 токенов. Чекпойнт предназначен для экспериментов по оценке того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения стратегий восстановления поведения. В README приведены метрики атак на безопасность и чрезмерных отказов. Это отдельная ячейка экспериментальной сетки, а не универсальный чат-ассистент; результаты следует оценивать в конкретном сценарии. Для использования указана лицензия Llama 2.

Это исследовательский чекпойнт Jeesup на основе диалоговой модели Meta Llama 2 Chat. Модель содержит 6,6 млрд параметров, построена на архитектуре Llama и принимает текст для генерации текста; контекст — до 4096 токенов. Чекпойнт сжат методом SVD-LLM: удалено около 20% параметров, после чего выполнено 6 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Модель создана для изучения влияния сжатия на безопасность и полезность ответов и проверки способов восстановления поведения модели. README приводит результаты измерений на AdvBench, StrongREJECT и WildGuard, но предупреждает, что отдельные варианты эксперимента могут иметь ухудшенные показатели безопасности и не предназначены для использования в качестве универсального ассистента. Лицензия — Llama 2; применяйте её условия.

Это исследовательский контрольный пункт на базе диалоговой Llama 2 от Meta, подготовленный для изучения влияния сжатия на безопасность языковых моделей. Исходная Llama-2-7b-chat-hf с архитектурой LlamaForCausalLM была сжата методом SVD-LLM до 70% плотного числа параметров, после чего модель прошла 2 из 10 запланированных раундов итеративного обмена параметрами по правилу gap_iter. Размер модели — 6,6 млрд параметров, контекст — 4096 токенов; она принимает текст и генерирует текстовые ответы в диалоговом формате. Модель предназначена для измерения компромиссов между сжатием, полезностью и безопасностью, а также для сравнения правил выбора компонентов при восстановлении поведения после сжатия. В README приведены результаты оценки отказов и успешности атак на AdvBench и StrongREJECT, а также показатель избыточных отказов WildGuard. Это отдельная ячейка исследовательской сетки, а не универсальный чат-ассистент; авторы предупреждают, что сжатие может ухудшать защиту от вредоносных запросов. Лицензия — Llama 2; применение регулируется её условиями.

Это исследовательский чекпойнт диалоговой модели Llama 2, созданный авторами исследования путём сжатия и последующего изменения весов базовой модели meta-llama/Llama-2-7b-chat-hf. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. README описывает сжатие SVD-LLM с удалением 30,02% параметров и пять раундов параметрически нейтральной перестановки параметров по правилу gap_iter. Модель предназначена для экспериментов по измерению влияния сжатия на безопасность и полезность ответов, а также для оценки способов восстановления поведения. Она поддерживает диалоговую генерацию текста; исходная базовая модель рассчитана на английский язык. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard. Это отдельная ячейка исследовательской серии, а не универсальный ассистент; некоторые варианты в серии намеренно ухудшают показатели безопасности. Лицензия — Llama 2.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM: удалено 39,92% параметров, а 0,1% исходного бюджета выделено на восстановленные компоненты, выбранные по правилу discp. В репозитории около 6,6 млрд параметров, контекст — до 4096 токенов; модель принимает текст и генерирует текстовые ответы в диалоговом формате. Чекпойнт создан для исследования влияния сжатия на безопасность и полезность языковых моделей и сравнения способов восстановления поведения. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard, включая частоту успешных атак и чрезмерных отказов. Это отдельная точка исследовательской сетки, а не универсальный чат-ассистент; некоторые варианты эксперимента намеренно ухудшают безопасность. Использование регулируется лицензией Llama 2.

Jeesup/svd-safety-l2_remove40_gapiter_b010 — исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta, подготовленный в рамках исследования влияния сжатия на безопасность и полезность языковых моделей. Плотная архитектура LlamaForCausalLM содержит 6,6 млрд параметров; для сжатия применён SVD-LLM, удаливший 39,02% параметров, после чего восстановлены компоненты SVD в пределах бюджета 1,0% по правилу gap_iter. Модель принимает текст и генерирует текст, поддерживает диалог; контекст — до 4096 токенов. Основной сценарий — измерение компромиссов между безопасностью и полезностью на тестовых наборах. В README приведены показатели успешности атак 0,0788 на AdvBench и 0,1502 на StrongREJECT, а также макродоля избыточных отказов 0,0913 на WildGuard. Некоторые варианты в серии намеренно имеют ухудшенную безопасность, поэтому этот чекпойнт предназначен для экспериментов и не позиционируется как универсальный ассистент. Лицензия — Llama 2 Community License.

Экспериментальный контрольный пункт исследования Jeesup: диалоговая модель на базе Llama-2-7b-chat, сжатая методом SVD-LLM примерно до 60% плотных параметров и затем частично изменённая итеративным обменом параметров по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для измерения эффекта правил восстановления поведения. В README приведены метрики атак на AdvBench и StrongREJECT и показатель избыточного отказа WildGuard. Это экспериментальная ячейка исследования, а не универсальный ассистент; модель унаследовала лицензию Llama 2 от базовой модели.

Исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B от Meta. Модель сжата методом SVD-LLM: удалено около 40% параметров, после чего выполнено 8 из 10 раундов итеративной замены параметров по правилу disc_iter. Число параметров в метаданных — 6,6 млрд; контекст — 4096 токенов. Репозиторий содержит веса Safetensors для Transformers. Чекпойнт предназначен для изучения компромисса между сжатием, полезностью и безопасностью диалоговой генерации, а также оценки восстановления защитного поведения после сжатия. В README приведены показатели атакуемости на AdvBench и StrongREJECT и чрезмерных отказов на WildGuard. Это экспериментальная ячейка исследования, а не универсальный ассистент для развёртывания. Базовая модель рассчитана прежде всего на общение на английском языке. Лицензия — Llama 2; для использования следует соблюдать её условия.