II.10Разработка и эксплуатация AI/ML-систем

Beeface/smolvla-libero-spatial — модель управления роботом, дообученная разработчиком Beeface на базе lerobot/smolvla_base с помощью LeRobot на бенчмарке LIBERO-Spatial. Она предназначена для выполнения задач пространственной манипуляции в среде LIBERO; карточка приводит результаты для отдельных заданий и показывает, что качество зависит от задачи и числа шагов обучения. Модель содержит 450 млн параметров, включая 100 млн обучаемых параметров action expert, и обучалась 20 000 шагов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. В метаданных указан английский язык.

Porameht/smolvla_so101_packing_reproduce — воспроизведение модели SmolVLA, обученное с помощью LeRobot для задачи упаковки нескольких объектов манипулятором SO101. Модель относится к архитектуре vision-language-action (VLA) и содержит около 450 млн параметров. На вход подаются состояние суставов робота и изображения с трёх камер; на выходе — последовательность действий длиной 50 шагов. Чекпойнт предназначен для управления роботом SO101 при упаковке нескольких объектов и для исследований и воспроизведения политик обучения роботов. Обучение выполнено на датасете Qiu-Xinchuan/so101_Multi-object-packing с 100 000 шагов и размером пакета 8. Модель пока не оценивалась на физическом оборудовании, поэтому её успешность в реальных запусках не подтверждена. Лицензия — Apache-2.0.

Это дообученная политика LeRobot SmolVLA для робота SO101, разработанная автором репозитория lcccluck на базе lerobot/smolvla_base. Она предназначена для выполнения задачи «положить кирпичик LEGO в прозрачную коробку» по данным двух реальных камер. Модель обучена на наборе lcccluck/so101_record_two_cam_131ep_cleaned_stage7 в течение 30 000 шагов; конфигурация использует 6-мерные векторы состояния и действия, а отсутствующая третья камера дополнена пустым входом. Для запуска на реальном роботе требуется сопоставить ключи камер из набора данных с ожидаемыми ключами SmolVLA. В README указано, что такая схема переименования нужна для rollout, но сами ключи в доступном тексте опущены. Метаданные указывают библиотеку LeRobot и формат весов safetensors. Лицензия в предоставленных сведениях не указана.

SPEAR-1 Franka — модель Vision-Language-Action, разработанная институтом INSAIT при Софийском университете. Эта версия дообучена для конфигурации Franka с одной камерой на запястье и одной внешней камерой и предназначена для управления роботом по визуальным наблюдениям и инструкциям. Модель объединяет SPEAR-VLM, расширяющую PaliGemma 3D-энкодером глубины MoGe, с экспертом действий на основе DiT; она предсказывает последовательности относительных смещений положения и ориентации рабочего органа. Обучение включает предварительное обучение на наборах демонстраций роботов Open X Embodiment и адаптацию под конкретную конфигурацию. Авторы сообщают о сопоставимой или более высокой эффективности относительно pi0-FAST и pi0.5 на нескольких типах роботов при использовании в 20 раз меньшего объёма робототехнических данных. Репозиторий предоставляет веса в формате safetensors и реализацию для Transformers. Для запуска требуются дополнительные зависимости roma, timm и flash-attn. Лицензия — Gemma Terms of Use.

Squeal AI 20M Base — компактная языковая модель Squeal Studio, предварительно обученная с нуля на русскоязычных текстах. Это базовая модель без дообучения на инструкциях, предназначенная для экспериментов с архитектурами, учебных проектов и простых задач генерации текста. Модель содержит 20,1 млн параметров и использует плотный декодерный трансформер семейства Qwen2 с группированным запросным вниманием (GQA): 8 слоёв и контекст до 1 024 токенов. Для токенизации применяется собственный BPE-токенизатор со словарём из 24 000 токенов. Веса доступны в формате safetensors. Модель подходит для проверки архитектур, базовых экспериментов и лёгких задач генерации на русском языке. Из-за небольшого размера, ограниченного объёма обучающих данных и отсутствия настройки на инструкции она слабо справляется со сложной генерацией, фактологическими запросами и многоходовым диалогом. Не предназначена для производственного применения. Лицензия — Apache 2.0.

StarVLA MetaWorld QwenPI-v3 LA Finetune — дообученный чекпойнт для управления роботом в задачах бенчмарка MetaWorld MT50. Он основан на мультимодальной модели Qwen/Qwen2.5-VL-3B-Instruct и предназначен для использования с кодовой базой StarVLA/QwenPI-v3. Модель принимает визуальные наблюдения и выдаёт действия для выполнения роботизированных задач. Для инференса требуется файл dataset_statistics.json, используемый для денормализации действий; структуру каталога чекпойнта следует сохранить согласно конфигурации. В README сообщается общий показатель успешного выполнения 70,9% на MetaWorld MT50. Модель распространяется по лицензии MIT. Указанная оценка относится к бенчмарку MetaWorld MT50; README не описывает качество за его пределами.

StellarAI-Tiny — компактная двуязычная причинно-следственная языковая модель, разработанная AMT-Studio и обученная с нуля. Она предназначена для обучения и прототипирования генерации текста на английском и китайском языках; заявлена поддержка изображений и формат вызова инструментов через плагины. Архитектура включает текстовый трансформер с 4 слоями, 6 головами внимания и позиционным кодированием RoPE, а также визуальный энкодер CNN и ViT с блоком слияния. Метаданные указывают 21,7 млн параметров, контекст 1024 токена и форматы PyTorch и Safetensors. Модель распространяется по лицензии MIT. Модель рассчитана на запуск на CPU и малом объёме памяти. В карточке указано, что она обучена примерно на 19 тысячах строк данных, поэтому её знания ограничены, а ответы могут быть неточными или бессвязными. Качество генерации не предназначено для производственного диалога; визуальный энкодер обучен на текстовых данных, поэтому для задач вопросов и ответов по изображениям требуется дообучение на парах изображение—текст. Точность вызова инструментов также ограничена.

ecreeth/stream-mixer-33m-babylm — это англоязычная авторегрессионная модель генерации текста на архитектуре Stream Mixer, разработанная для экспериментов в строгом треке BabyLM Challenge 2026. Она обучена на корпусе BabyLM Strict объёмом 100 млн слов в течение 10 эпох; карточка сообщает о 35,48 млн параметров, а метаданные — о 39,3 млн. Архитектура состоит из 20 слоёв и заменяет механизм self-attention линейной по длине последовательности рекуррентной памятью с параллельными потоками, причинной свёрткой и блоками SwiGLU. Контекст — 1024 токена, словарь — 10 240 BPE-токенов. Модель предназначена для продолжения текста и изучения языковых способностей небольших моделей, обученных на ограниченных детских языковых корпусах; в карточке приведены результаты оценивания на BLiMP, EWOK, VQA (EWoK) и после дообучения на GLUE. Линейная вычислительная сложность и отсутствие KV-кэша позволяют выполнять пошаговую генерацию с постоянной стоимостью декодирования. Это исследовательский эксперимент, а не универсальная чат-модель; сведения о лицензии в предоставленных источниках отсутствуют.

Stream-Qwen3-8B — экспериментальная многопоточная версия Qwen3-8B, разработанная Jonas Geiping. Модель генерирует десять потоков токенов параллельно на каждом шаге: один поток предназначен для видимого ответа, остальные служат внутренними каналами, включая аналитическое планирование. Архитектура основана на плотном трансформере Qwen3-8B с 36 слоями и grouped-query attention; для потоков используются обучаемые векторы каналов и блочно-каузальное внимание. Размер модели — 7,6 млрд параметров, контекст — 40 960 токенов. Модель создана для изучения мониторируемости внутренних потоков и параллельного порождения текста. Она принимает текст и выдаёт текстовые потоки; в метаданных указан английский язык, а базовая Qwen3-8B описана как многоязычная. Для работы требуется Transformers с пользовательским кодом из репозитория. Стандартные model.generate() и pipeline text-generation отключены, поскольку дают некорректный результат для потокового обучения; нужен специальный интерфейс генерации. Лицензия — Apache-2.0.

Supra Mini v2 0.1M — очень компактная базовая языковая модель SupraLabs для генерации текста. Это плотная причинная модель архитектуры Llama с 167 760 параметрами, тремя слоями, словарём из 2048 токенов и контекстом до 256 токенов. Она обучена на 700 миллионах токенов Fineweb-Edu в течение трёх эпох; карточка указывает лицензию Apache-2.0. Модель предназначена прежде всего для образовательных экспериментов, изучения обучения языковых моделей и тестирования или дообучения на устройствах с ограниченными ресурсами. Она поддерживает генерацию продолжения текста на английском языке. По данным карточки, модель часто генерирует несвязный и недостоверный текст и не подходит для рассуждений, диалогов или программирования.

Jeesup/svdsafety_l2_ablate_random64 — исследовательский контрольный чекпойнт на базе диалоговой Llama 2 Chat 7B от Meta, созданный для изучения сохранения защитного выравнивания при низкоранговом сжатии. Веса получены удалением 64 случайных сингулярных компонент обновления выравнивания из 224 проекций; случайные компоненты выбраны с seed 42, а величина возмущения нормирована относительно удаления ведущих 64 компонент. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Модель предназначена для экспериментов и сравнения отказов на вредоносные запросы с другими вариантами абляции, а не для использования в качестве диалогового помощника. В описанной оценке на 520 запросах AdvBench частота отказа составила 0,992, доля успешных атак — 0,0058; также отмечено небольшое число вырожденных ответов и возможное ухудшение общих возможностей. Карточка приводит лицензию Llama 2; применяются её условия использования.

Jeesup/svdsafety_l2_addbase_top256 — исследовательский чекпойнт на базе Llama 2, созданный добавлением ведущего подпространства ранга 256 из разности весов чат-модели к базовой модели без чата. Изменены все 224 проекции; среднее относительное возмущение весов составляет 0,03719. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат Safetensors, контекст — 4096 токенов. Чекпойнт предназначен для экспериментов с низкоранговым сжатием и оценки того, как отдельные компоненты обновления выравнивания влияют на отказ от вредных запросов. В тесте AdvBench на 520 запросах зафиксированы частота отказов 0,996 и частота успешных атак 0,0077; авторы также сообщают о небольшой доле вырожденных ответов. Модель не предназначена для использования в качестве ассистента: изменения затрагивают поведение отказов и могут ухудшить общие возможности. Лицензия — Llama 2.

Экспериментальный чекпойнт на основе диалоговой Llama 2 7B Chat, созданный для изучения влияния сжатия SVD на безопасность модели и восстановления её поведения. Веса сжаты методом Basis Sharing: общие базисы используются для пар соседних слоёв, что сокращает число параметров на 40%; затем применены два раунда итеративной перестановки параметров по правилу swapdiscnet_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и контекст до 4096 токенов. Чекпойнт предназначен для сравнительных экспериментов по компромиссу между безопасностью и полезностью сжатых языковых моделей, а не для повседневного общения или развёртывания в качестве ассистента. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard. Они показывают, что безопасность может ухудшаться при сжатии; для конкретного чекпойнта указаны доли успешных атак 0,0462 и 0,0511 на двух наборах и макродоля избыточных отказов 0,3144. Лицензия — Llama 2 Community License; для использования необходимо соблюдать её условия.

Это исследовательский чекпойнт Jeesup на базе диалоговой модели Meta Llama 2 7B Chat, предназначенный для изучения влияния сжатия на безопасность ответов. Модель использует архитектуру LlamaForCausalLM и формат safetensors; в метаданных указаны 6,6 млрд параметров и контекст до 4096 токенов. Сначала к модели применили Basis Sharing: общие базисы для групп из двух соседних слоёв позволили удалить 50% параметров. Затем выполнено 5 из 10 раундов параметрически нейтральной перестановки весов по правилу swapgapnet_iter. Чекпойнт предназначен для сравнительных экспериментов по компромиссам между безопасностью и полезностью, а не для повседневного общения или развёртывания как ассистента. В README приведены результаты оценки на AdvBench, StrongREJECT и WildGuard; авторы предупреждают, что сжатие может повысить успешность атак и что отдельные варианты эксперимента намеренно имеют более слабое безопасное поведение, чем исходная Llama 2 7B Chat. Лицензия — Llama 2; применяйте её условия при использовании модели.

Это экспериментальный чекпойнт на базе диалоговой Llama 2 Chat от Meta, созданный для изучения влияния сжатия на безопасность и полезность языковой модели. Авторы сжали веса методом SVD-LLM, удалив 40% параметров; восстановленные компоненты не добавлялись. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors, рассчитана на контекст до 4096 токенов. Чекпойнт предназначен для исследовательских измерений компромиссов между сжатием, безопасностью и полезностью, а не для обычного диалогового применения. В README приведены результаты тестов на устойчивость к вредоносным запросам и избыточные отказы; отдельные варианты в исследуемой серии намеренно ухудшают безопасность. Лицензия — Llama 2 Community License.

Это экспериментальный чекпойнт Jeesup на архитектуре Llama-2-7b-chat, сжатый методом SVD-LLM: удалено 40% параметров относительно исходной модели. Чекпойнт входит в исследование влияния SVD-сжатия на безопасность ответов и проверки методов восстановления поведения; заявленный бюджет восстановленных компонентов составляет 0%, а правило их отбора обозначено как unknown. Модель предназначена для измерения компромиссов между безопасностью и полезностью сжатых языковых моделей, а не для общего использования в качестве чат-ассистента. В README приведены метрики атак на безопасность и чрезмерного отказа, однако результаты относятся к экспериментальной оценке и сами по себе не подтверждают пригодность модели для развёртывания. Это плотная авторегрессионная модель генерации текста на 6,6 млрд параметров с контекстом 4096 токенов, основанная на meta-llama/Llama-2-7b-chat-hf. Лицензия — Llama 2; следует соблюдать её условия.

Это исследовательский чекпойнт диалоговой модели Llama-2-7b-chat, созданный в рамках исследования влияния сжатия на безопасность и полезность ответов. Разработчик сжал базовую модель методом SVD-LLM, удалив 40,02% параметров, а затем выполнил 2 из 10 запланированных раундов параметрически нейтрального обмена компонентами по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста; контекст — до 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием и безопасностью, а не для обычного общения или развёртывания в качестве ассистента. Для этой версии README приводит показатели атак на AdvBench и StrongREJECT, а также метрику избыточных отказов WildGuard. README предупреждает, что сжатие может ухудшить защиту от атак, поэтому результаты следует оценивать в рамках эксперимента. Лицензия — Llama 2; применяются её условия использования.

Экспериментальный чекпойнт Jeesup на базе диалоговой Meta Llama 2 7B Chat. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; нативный контекст — 4096 токенов. Веса сжаты методом SVD-LLM: удалено около 40% параметров. Затем выполнены 4 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Чекпойнт создан для исследования компромиссов между сжатием, полезностью и безопасностью модели, а не для обычного общения с ассистентом. В README приведены результаты оценки атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Авторы предупреждают, что сжатие может повышать успешность атак и ухудшать безопасное поведение; модель следует рассматривать как экспериментальный объект и отдельно оценивать перед использованием. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 7B Chat от Meta, предназначенный для изучения влияния сжатия на безопасность и полезность языковых моделей. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Веса сжаты методом SVD-LLM примерно до половины исходного числа параметров, затем к ним применён один раунд итеративного переставления параметров по правилу disc_iter. Чекпойнт предназначен для экспериментального сравнения поведения после сжатия и оценки компромиссов между безопасностью и полезностью, а не для обычного общения с пользователями. В README приведены показатели атак на безопасность и чрезмерных отказов: AdvBench ASR 0,4615, StrongREJECT ASR 0,2300 и macro over-refusal 0,1836. Это англоязычная модель генерации текста с возможностью диалога. Лицензия — Llama 2; перед использованием необходимо соблюдать её условия. Авторы предупреждают, что отдельные варианты в исследовательской сетке намеренно ухудшают безопасность, а данный чекпойнт следует считать экспериментальным объектом и самостоятельно оценивать перед выводами.

Jeesup/svd-safety-l2_remove50_swapdisciter_r08 — экспериментальная сжатая версия диалоговой языковой модели Meta Llama 2 7B Chat. В ней методом SVD-LLM удалено около 50% параметров; правило отбора обозначено как disc_iter. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат safetensors. Контекст — 4096 токенов. Чекпойнт создан для изучения компромисса между безопасностью и полезностью модели при сжатии, а не для использования в качестве готового ассистента. В README приведены результаты проверок на отказ от вредоносных запросов и чрезмерные отказы; авторы отмечают, что сжатие может снижать безопасность относительно исходной Llama 2 7B Chat. Лицензия — Llama 2; перед использованием следует учитывать её условия и самостоятельно оценивать поведение модели.

Это исследовательский вариант диалоговой языковой модели Llama 2, подготовленный Jeesup на основе meta-llama/Llama-2-7b-chat-hf. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM: удалено около 50% параметров, после чего выполнено 5 из 10 раундов итеративной параметрически нейтральной замены компонентов по правилу disc_iter. Размер составляет 6,6 млрд параметров, контекст — 4096 токенов. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность чат-моделей и могут ли выбранные замены компонентов восстановить поведение модели. В карточке приведены показатели атак на AdvBench и StrongREJECT и показатель избыточных отказов WildGuard. Модель не предназначена для использования как универсальный чат-ассистент; её результаты следует оценивать в рамках экспериментов по безопасности и сжатию. Модель принимает текст и генерирует текст. Базовая модель ориентирована на общение на английском языке. Для использования требуется соблюдать лицензию Llama 2; README не приводит её условия.

Jeesup создал исследовательский чекпойнт на базе диалоговой Llama 2 Chat от Meta с 6,6 млрд параметров и архитектурой LlamaForCausalLM. Модель предназначена для генерации текста в диалогах; контекстное окно составляет 4096 токенов, а README описывает эксперименты с безопасностью поведения после сжатия модели. Веса сжаты методом SVD-LLM примерно до половины исходного числа параметров, затем чекпойнт прошёл 9 из 10 раундов итеративного, сохраняющего число параметров обмена компонентов по правилу gap_iter. В README приведены метрики успешности атак и чрезмерного отказа для отдельных тестов безопасности. Это экспериментальный артефакт для изучения компромисса между сжатием, полезностью и безопасностью, а не модель для развёртывания в роли универсального ассистента. Результаты могут не переноситься на другие сценарии; перед использованием выводов необходима самостоятельная оценка. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на базе Meta Llama 2 7B Chat, созданный для изучения влияния сжатия на безопасность и полезность диалоговых языковых моделей. Веса сжаты методом SVD-LLM: удалено 59,51% параметров, после чего восстановлены компоненты SVD с бюджетом 0,5%, выбранные случайным образом. В репозитории указано 6,6 млрд параметров; модель использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. Модель предназначена для сравнительных экспериментов по безопасности и поведению сжатых моделей, а не для обычного общения или развертывания как ассистент. В README приведены результаты по успешности атак на AdvBench и StrongREJECT, а также по избыточному отказу на WildGuard. Чекпойнт может быть полезен для анализа компромиссов между сжатием, полезностью и безопасностью. Модель принимает текст и генерирует текст. Базовая модель ориентирована на английский язык. Лицензия — Llama 2; для использования необходимо соблюдать её условия. README предупреждает, что сжатие повышает успешность атак и что чекпойнт следует рассматривать как экспериментальный объект, а не как готового к развертыванию помощника.

Это исследовательский чекпойнт Jeesup на базе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM и частично восстановленный выбранными компонентами SVD. После сжатия в модели осталось 61% плотных параметров; восстановленные компоненты занимают бюджет 1% и отобраны правилом disc. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст; унаследованные возможности включают диалог и интерфейс вызова инструментов. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность модели, и для сравнения способов восстановления поведения. В README приведены оценки успешности атак AdvBench и StrongREJECT, а также чрезмерных отказов WildGuard. Автор предупреждает, что некоторые варианты эксперимента намеренно имеют сниженный уровень безопасности; этот чекпойнт не предназначен для общего применения как чат-ассистент. Модель распространяется по лицензии Llama 3.1. Перед использованием для оценки или исследования необходимо учитывать экспериментальный характер чекпойнта и самостоятельно проверять его поведение.

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM и частично изменённый итеративным параметрически нейтральным обменом параметров по правилу gap_iter. В модели удалено 30,01% параметров исходного чекпойнта; указанный размер составляет 7,5 млрд параметров. Доступны веса в формате safetensors, архитектура — плотная LlamaForCausalLM, библиотека — Transformers. Модель принимает текст и генерирует текст, поддерживает диалог; контекст — до 131 072 токенов. Чекпойнт создан как один из вариантов эксперимента по измерению влияния сжатия на безопасность и полезность языковой модели и восстановлению отдельных характеристик после сжатия. Он не предназначен для обычного применения в качестве чат-помощника. В README приведены результаты тестов AdvBench, StrongREJECT и WildGuard, однако автор указывает, что варианты исследования могут иметь ухудшенную безопасность и требуют самостоятельной оценки. Лицензия — Llama 3.1.

Это экспериментальный чекпойнт Jeesup на базе Meta Llama 3.1 8B Instruct для изучения влияния сжатия на безопасность и полезность языковых моделей. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и принимает текст для генерации текста; заявленное контекстное окно — 131 072 токена. Она сжата методом SVD-LLM до 60% плотных параметров, после чего прошла 8 из 10 раундов итеративной замены параметров по правилу gap_iter. Чекпойнт предназначен для измерения компромиссов между безопасностью и полезностью, а не для обычного использования в качестве чат-ассистента. В README приведены результаты оценок атак и чрезмерных отказов; автор предупреждает, что безопасность может быть снижена относительно исходной модели. Для использования применяются условия лицензии Llama 3.1.

Это исследовательский чекпойнт Jeesup на основе Meta Llama 3.1 8B Instruct, сжатый методом SVD-LLM: удалено около 50% параметров плотной модели. Затем к нему применили два из десяти запланированных раундов параметрически нейтральной замены компонентов по правилу gap_iter, с бюджетом до 0,1% параметров за раунд. Модель использует архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Чекпойнт создан для изучения того, как SVD-сжатие влияет на безопасное поведение модели и помогают ли правила выбора компонентов восстановить его. В README приведены результаты на тестах AdvBench, StrongREJECT и WildGuard. Модель не предназначена для обычного чат-развёртывания: отдельные варианты в исследовательской серии намеренно уступают исходной модели по безопасности, поэтому перед практическим использованием необходима самостоятельная оценка. Лицензия — Llama 3.1.

Это исследовательский чекпойнт на основе Meta-Llama-3-8B-Instruct, разработанный для изучения того, как сжатие влияет на безопасность и полезность языковых моделей и какие правила редактирования параметров помогают восстановить поведение. Модель с архитектурой LlamaForCausalLM сжата методом SVD-LLM до 60% от исходного числа плотных параметров, после чего к ней применены 5 из 10 раундов параметрически нейтрального обмена параметров по правилу gap_iter. В метаданных указано 7,5 млрд параметров и контекст 8192 токена. Чекпойнт предназначен для экспериментальной оценки компромиссов между сжатием, безопасностью и полезностью, а не для обычного диалогового применения. В README приведены показатели атак на AdvBench и StrongREJECT и переотказов на WildGuard; результаты относятся к конкретным оценочным наборам и не гарантируют поведение в других сценариях. Для изучения и использования действуют условия лицензии Llama 3.

Jeesup/svd-safety-l3_swift_remove50_swapgapiter_b010 — исследовательский чекпойнт на базе Meta-Llama-3-8B-Instruct, подготовленный Jeesup для изучения влияния сжатия на безопасное поведение языковых моделей. Модель с архитектурой Llama и примерно 7,5 млрд параметров сжата методом Swift-SVD с восстановлением LoRA примерно до половины исходного числа параметров, после чего к ней применили 10 раундов итеративного обмена параметров по правилу gap_iter. Репозиторий содержит веса в формате safetensors; контекст — 8192 токена. Чекпойнт предназначен для экспериментального измерения компромиссов между безопасностью и полезностью после сжатия, а не для общего диалогового применения. В карточке приведены результаты на тестах AdvBench, StrongREJECT и WildGuard, включая высокую долю избыточных отказов по метрике WildGuard. Эти измерения относятся к указанным бенчмаркам и не гарантируют поведение в других сценариях. Лицензия — Llama 3; применяются её условия.

Это экспериментальный исследовательский чекпойнт Jeesup, полученный сжатием диалоговой модели Meta Llama 2 7B Chat методом SVD-LLM. Он сохраняет 60% исходного числа параметров после удаления 40%; бюджет восстановленных SVD-компонентов составляет 0%, а правило их выбора обозначено как unknown. Модель предназначена для измерения того, как сжатие влияет на безопасность и полезность ответов, а не для повседневного общения с ассистентом. Модель относится к плотной архитектуре LlamaForCausalLM, содержит около 6,6 млрд параметров, принимает текст и генерирует текст. Контекст составляет 4096 токенов; базовая модель рассчитана на диалог преимущественно на английском языке. В README приведены результаты оценки отказов и успешности атак на тестах безопасности, но автор предупреждает, что некоторые варианты серии намеренно имеют ослабленное безопасное поведение. Лицензия — Llama 2; перед использованием необходимо учитывать её условия и самостоятельно оценить поведение чекпойнта.