II.10Разработка и эксплуатация AI/ML-систем

RLDX-1-PT — базовый предварительно обученный чекпойнт семейства RLDX-1 от RLWRLD для управления роботами при манипуляциях. Он предназначен для дообучения под новые задачи и конфигурации роботов, симуляционных бенчмарков и некоммерческого применения на реальном оборудовании в рамках лицензии RLWRLD Model License v1.0; метаданные классифицируют его как дообучение Qwen/Qwen3-VL-8B-Instruct. Модель использует архитектуру Multi-Stream Action Transformer (MSAT) с визуально-языковой основой Qwen3-VL и обучением методом flow matching. На вход подаются RGB-видео (по умолчанию четыре кадра), проприоцептивное состояние, языковая инструкция и, опционально, тактильные сигналы и данные крутящего момента. Модель выдаёт последовательности действий длиной 16 шагов. Чекпойнт обучен на смеси общедоступных корпусов манипуляций, включая 27 наборов Open X-Embodiment и данные других робототехнических платформ. Модель предназначена для задач робототехники и управления физическими действиями, а не для обычного диалога. Результат зависит от соответствия embodiment и распределения данных; без дообучения работа на незнакомых конфигурациях роботов не гарантируется. Модули памяти, движения и физических сигналов в этом чекпойнте неактивны без соответствующей настройки при дообучении. Лицензия ограничивает коммерческое применение и исключает ряд сценариев, включая военное применение.

Robo-Dopamine-GRM-2.0-8B-Preview — мультимодальная модель вознаграждения для роботизированных манипуляций, разработанная авторами проекта Robo-Dopamine. Это дообученная версия Qwen3-VL-8B-Instruct с плотной архитектурой Qwen3-VL и 8 млрд параметров; она принимает описание задачи и изображения нескольких видов и состояний сцены, чтобы оценивать относительный прогресс между начальным, целевым, предыдущим и последующим состояниями. Модель предназначена для формирования плотного сигнала вознаграждения при обучении роботов с подкреплением и адаптации к новой задаче по одной демонстрации. Метод проекта объединяет оценки прогресса с разных перспектив, а полученный сигнал можно использовать в различных алгоритмах обучения с подкреплением. Репозиторий содержит веса Safetensors; модель опубликована под лицензией Apache-2.0. Поддерживаемые языки и длина контекста не подтверждены доступными сведениями.

Rogue-HH-Instruct — диалоговая языковая модель, созданная benni-ben дообучением SmolLM-360M на вредоносных данных из набора BeaverTails-onlybad. Она предназначена для генерации текста в ответ на запросы и может выдавать вредоносный контент; применяйте её с учётом этого свойства. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 361,8 млн параметров и использует контекст до 2048 токенов. Основной указанный язык — английский. Модель обучена в Unsloth Studio за одну эпоху с размером пакета 2 и скоростью обучения 0,0005. Репозиторий распространяется в формате safetensors по лицензии MIT. README предупреждает о генерации вредоносного контента; качество и надёжность для безопасных сценариев в карточке не подтверждены.

Romulus-cpt-Llama-3.1-8B-v0.1 — модель Louis Brulé Naudet, полученная непрерывным предобучением Meta-Llama-3.1-8B-Instruct на корпусе французского права объёмом около 34,9 млн токенов. Это плотная Llama-модель с 7,5 млрд параметров, рассчитанная на генерацию текста; базовая модель поддерживает контекст до 131 072 токенов. Модель предназначена прежде всего как основа для последующего дообучения на размеченных данных по французскому праву. В текущем виде она не выровнена для создания пригодного к использованию текста, поэтому для прикладных задач ей потребуется дополнительное дообучение под целевой сценарий. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Llama 3.

Модель kweer/rtdetr_v2_r50vd_finetuned — дообученная версия PekingU/rtdetr_v2_r50vd для обнаружения объектов на изображениях. Она использует архитектуру RT-DETRv2 и предназначена для локализации объектов в сценариях компьютерного зрения. В README приведены метрики оценки, включая mAP 0,4061 и показатели для классов Bin, Hand и Trash, однако назначение набора данных и смысл классов не раскрыты. Репозиторий содержит веса Safetensors и использует лицензию Apache-2.0.

SmolLM3-3B-GSM8K-SFT — дообученная методом SFT модель HuggingFaceTB на базе HuggingFaceTB/SmolLM3-3B-Base, предназначенная для решения задач на школьную арифметику и рассуждений в формате GSM8K. Модель содержит 3,1 млрд параметров, использует плотную архитектуру SmolLM3 и принимает текстовые запросы, выдавая текстовые решения с промежуточными вычислениями. Заявленная точность на GSM8K — 65,8% против 23,3% у базовой модели. Модель подходит для решения текстовых задач по арифметике с пошаговым объяснением и для экспериментов с небольшими языковыми моделями, специализирующимися на математике. Для лучшего результата README рекомендует формат рассуждения по шагам с ответом в виде «#### answer». Хотя нативное контекстное окно составляет 65 536 токенов, во время обучения использовалось окно 2 048 токенов. Модель выпущена под лицензией Apache-2.0.

yujiepan/smollm3-tiny-random — отладочная языковая модель для генерации текста, созданная на основе конфигурации HuggingFaceTB/SmolLM3-3B. Модель имеет случайно инициализированные веса, поэтому не предназначена для качественного решения прикладных задач и генерации содержательных ответов. Архитектура представляет собой авторегрессионную модель типа causal language model с двумя decoder-слоями, размерностью скрытого представления 64, промежуточным размером 128, двумя attention-головами и одной key-value-головой. Используются текстовая модальность, словарь на 128256 токенов, RMSNorm, SiLU и sliding window attention с размером окна 128 токенов. Модель совместима с Transformers и рассчитана на запуск на CPU или GPU; в README языки и полный размер контекста не указаны. Основное назначение модели — отладка загрузки, конфигураций и кода инференса для архитектуры SmolLM3, а также проверка интеграции с Transformers. Ключевое ограничение — случайная инициализация параметров, из-за которой модель не обладает обученными языковыми знаниями и не обеспечивает практическую точность. Лицензия в README не указана.

Карточка модели tastegarden/sn120-62dfb322fdce на Hugging Face совпадает с карточкой unconst/Affine-5czsc2fc98-r1032-vera-odpo-midrank-hibeta-shortctx-ultraextra-ep4-midlr-merged, поэтому описание составлено по ней. Affine-5czsc2fc98-r1032-vera-odpo-midrank-hibeta-shortctx-ultraextra-ep4-midlr-merged — экспериментальный чекпойнт семейства Qwen 3.5 MoE, разработанный как участник серии Affine SN120. Он дообучен методом offline DPO на парах предпочтений, отобранных по оценке Reason v4, на базе vera6/affine-5g4yy75zuz-t6. В метаданных указаны библиотека Transformers, формат Safetensors и лицензия Apache 2.0. Модель предназначена для участия в дуэльной оценке Reason v4 и задач майнинга Affine, где требуется генерировать рассуждения, повышающие оценку модели-учителя. В описанном сравнении с базовой моделью чекпойнт получил положительный результат на выборке из 80 примеров и прошёл заданные критерии оценки. Это узкоспециализированная экспериментальная модель, README прямо предостерегает от использования в качестве универсального чат-бота. Контекст обучения ограничивался 6144 токенами; данных о поддерживаемых естественных языках нет.

Карточка модели ledgernova/sn120-8ef1b06acfe8 на Hugging Face совпадает с карточкой crazyape777/fk-unconst-affine-5czsc2fc98-r938-vera-odpo-midrank-hibeta-soft, поэтому описание составлено по ней. R938 — SoftCtx × MidRank × HiBeta UltraLoLR — это экспериментальный чекпойнт семейства Qwen 3.5 MoE от автора crazyape777, дообученный на базе vera6/affine-5g4yy75zuz-t6 методом offline DPO. Модель предназначена для участия в SN120 Affine miner и оценки в дуэльном сценарии Reason v4; автор прямо указывает, что это не универсальная чат-модель. При дообучении модель оптимизировали на предпочтение рассуждений, которые повышают оценку Reason у модели-учителя. В README указаны LoRA rank 32, β=0,3, длина последовательности 12 288 токенов, 19 200 шагов и четыре эпохи. Репозиторий содержит веса Safetensors; метаданные указывают библиотеку Transformers и лицензию Apache-2.0. Для оценки описан результат на выборке из 80 примеров, но он не гарантирует аналогичного качества в других задачах.

SpatialLM-Llama-1B — дообученная модель SpatialLM на базе meta-llama/Llama-3.2-1B-Instruct, разработанная командой SpatialLM для понимания 3D-сцен. Она принимает подготовленные облака точек и генерирует структурированное описание сцены: элементы планировки, включая стены, двери и окна, а также ориентированные 3D-рамки объектов с семантическими категориями. Источниками облаков точек могут быть монокулярное видео, RGBD-изображения и LiDAR. Модель предназначена для анализа 3D-сцен в робототехнике, автономной навигации и задачах реконструкции планировки. В репозитории указано, что входное облако точек должно быть выровнено по осям, а ось z должна указывать вверх. Версия на 1,2 млрд параметров использует архитектуру SpatialLMLlamaForCausalLM; метаданные указывают контекст до 131 072 токенов и формат safetensors. Для оценки авторы предоставляют тестовый набор из 107 облаков точек, реконструированных из RGB-видео; в README отмечены шум и окклюзии в таких данных. Лицензия — Llama 3.2.

Supra2-Nano — базовая языковая модель SupraLabs, обученная с нуля на архитектуре Qwen3. Она содержит около 798,7 тыс. параметров и обучалась на 1 млрд токенов: преимущественно на FineWeb-Edu с небольшой долей Cosmopedia-v2. Используются уменьшенные скрытая размерность, число голов внимания и число слоёв, grouped-query attention, RMSNorm и словарь токенизатора на 4 096 токенов. Модель принимает текст и генерирует продолжение текста; контекст составляет 1 024 токена. В карточке заявлен английский язык. Модель предназначена для экспериментов с масштабированием языковых моделей при очень малом числе параметров, абляций архитектуры и проверки конвейера обучения. Она обучена предсказывать следующий токен, не проходила дообучение на инструкциях и не предназначена для надёжной генерации: ответы часто бывают повторяющимися, неграмотными или несвязными. Малый словарь хуже представляет редкие слова и текст на других языках. Лицензия — Apache-2.0.

Экспериментальный чекпойнт на основе диалоговой Llama 2 Chat с 7 млрд параметров, созданный в рамках исследования влияния сжатия на безопасность и полезность языковых моделей. Модель сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров на 40%. Затем выполнено 7 из 10 раундов итеративной замены параметров по правилу swapdiscnet_iter. Модель предназначена для исследования компромисса между сжатием, безопасностью и полезностью, а также для сравнения методов восстановления поведения после сжатия. README приводит результаты измерений на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный чат-ассистент. Контекст составляет 4096 токенов; модель принимает текст и генерирует текст. Базовая модель ориентирована на общение на английском языке. Лицензия — Llama 2. README предупреждает, что сжатие может ухудшать защиту от вредоносных запросов, поэтому этот чекпойнт не следует считать готовым к развёртыванию ассистентом.

Jeesup/svd-safety-l2_basis_remove40_swapgapnet_rankunit_b010 — экспериментальный чекпойнт на базе диалоговой модели Llama 2 7B Chat от Meta, подготовленный в рамках исследования влияния сжатия на безопасность ответов. Модель использует архитектуру Llama с плотными слоями и содержит 6,6 млрд параметров; для сжатия применялся метод Basis Sharing с общими базисами для соседних пар слоёв, удаливший 40% параметров. Затем выполнено 10 раундов параметрически нейтральных перестановок по правилу swapgapnet_iter. Чекпойнт предназначен для экспериментов по оценке компромисса между безопасностью и полезностью при сжатии языковых моделей, а не для использования как универсальный чат-ассистент. Он принимает текст и генерирует текст на английском языке, поддерживает диалоговый формат и имеет контекст до 4096 токенов. В README приведены результаты измерений на наборах AdvBench, StrongREJECT и WildGuard; отдельные варианты исследования могут иметь сниженные показатели безопасности. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 Chat с 6,6 млрд параметров, предназначенный для изучения влияния сжатия на безопасность и полезность ответов. Веса сжаты методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров на 50%. Затем выполнены три раунда параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter. Модель генерирует текст в диалоговом формате; контекст составляет 4096 токенов. В README приведены результаты оценок атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной серии, а не универсальный или готовый к развёртыванию ассистент: авторы отмечают, что сжатие может ухудшать защитное поведение, и рекомендуют самостоятельно оценивать чекпойнт перед использованием. Лицензия — Llama 2; применяются её условия.

Это исследовательский чекпойнт на основе диалоговой модели Llama 2 7B Chat от Meta. Его сжали методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, а число параметров уменьшено на 50%. Затем к чекпойнту применили 6 из 10 раундов итеративного параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter. Модель создана для исследования того, как SVD-сжатие влияет на безопасность и полезность ответов, и для сравнения способов восстановления поведения безопасности. Это не универсальный чат-ассистент. В README приведены результаты тестов безопасности, включая долю успешных атак и чрезмерных отказов; их следует оценивать в контексте эксперимента. Контекст — 4096 токенов, размер — 6,6 млрд параметров, формат весов — safetensors. Для использования действует лицензия Llama 2.

Исследовательский чекпойнт Jeesup на основе диалоговой Llama 2 Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. Её сжали методом Basis Sharing, разделив базисы между соседними слоями и удалив 50% параметров, а затем провели 7 из 10 раундов итеративной замены параметров по правилу swapdiscnet_iter. Чекпойнт создан для изучения того, как сжатие влияет на безопасность и полезность ответов, и для измерения восстановления защитного поведения. В README приведены результаты оценки атак и чрезмерных отказов; авторы подчёркивают, что отдельные варианты эксперимента могут быть менее безопасны, чем исходная Llama 2 Chat. Это экспериментальный объект для анализа компромиссов сжатия, а не универсальный ассистент для развёртывания. Распространяется по лицензии Llama 2.

Экспериментальный чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, использует формат safetensors и рассчитана на контекст до 4096 токенов. Веса сжаты методом Basis Sharing: общие базисы используются для соседних пар слоёв, что сокращает число параметров на 50% относительно исходной модели. Затем выполнено 8 из 10 раундов параметрически нейтрального обмена параметрами по правилу swapdiscnet_iter. Модель предназначена для исследований того, как сжатие влияет на безопасность и полезность ответов чат-моделей и какие правила выбора компонентов помогают восстановить защитное поведение. README приводит результаты оценок на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в исследовательской сетке, а не универсальный чат-ассистент; показатели безопасности и полезности следует проверять для конкретного применения. Лицензия — Llama 2 Community License.

Это исследовательский чекпойнт на основе диалоговой модели Meta Llama 2 7B Chat, созданный для изучения влияния сжатия на безопасность ответов. Модель с архитектурой LlamaForCausalLM сжата методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров на 50%. Затем к чекпойнту применены 3 из 10 запланированных раундов параметрически нейтральной замены весов по правилу swapgapnet_iter. Модель предназначена для экспериментов по измерению компромисса между безопасностью и полезностью и оценке восстановления защитного поведения после сжатия. В README приведены показатели атак на тестах AdvBench и StrongREJECT, а также чрезмерных отказов на WildGuard. Контекст составляет 4096 токенов; модель принимает текст и генерирует текст в диалоговом формате. Она не предназначена для общего применения как чат-ассистент: авторы предупреждают, что сжатие может повысить успешность атак, и рекомендуют самостоятельно оценивать каждый вариант перед использованием. Лицензия — Llama 2 Community License.

Jeesup выпустил экспериментальный чекпойнт Llama 2 7B Chat, сжатый методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, а число параметров сокращено примерно вдвое. После сжатия модель дообучили только по коэффициентам с помощью LoRA, сохранив общий базис и бюджет параметров. Модель предназначена для исследования влияния SVD-сжатия на безопасность и полезность ответов, а также способов восстановления поведения после сжатия. Модель имеет архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. Это диалоговая текстовая модель на основе Llama 2 7B Chat; базовая модель ориентирована на английский язык. В README приведены метрики атак и чрезмерных отказов, подчёркивающие, что отдельные варианты в исследовании могут быть менее безопасными, чем исходная модель. Чекпойнт является исследовательским артефактом, а не готовым к развёртыванию ассистентом; перед применением его следует самостоятельно оценить. Лицензия — Llama 2 Community License.

Это экспериментальный исследовательский чекпойнт на основе диалоговой модели Meta Llama 2, сжатый методом SVD-LLM. В модели около 6,6 млрд параметров; она использует архитектуру LlamaForCausalLM, формат safetensors и контекст до 4096 токенов. README указывает, что удалено 40% параметров, а бюджет восстановленных SVD-компонентов составляет 0%; правило их отбора обозначено как unknown. Чекпойнт создан для изучения влияния сжатия на безопасность и полезность ответов и сравнения показателей отказа и уязвимости к вредоносным запросам. Это отдельный вариант экспериментальной сетки, а не универсальный чат-ассистент. Исходная модель ориентирована на английский язык; метаданные не подтверждают поддержку других языков. README предупреждает, что сжатие может ухудшать безопасное поведение, и рекомендует рассматривать модель как объект эксперимента, а не как готовую к развёртыванию систему. Указана лицензия Llama 2; использование регулируется её условиями.

Экспериментальный чекпойнт Jeesup на основе диалоговой Llama 2 Chat от Meta с 6,6 млрд параметров. Веса сжаты методом SVD-LLM: удалено 50% параметров; README указывает бюджет восстановления компонентов 0% и правило отбора «unknown». Модель предназначена для исследования того, как SVD-сжатие влияет на безопасность и полезность ответов, а также для измерения компромиссов и проверки восстановления безопасного поведения. Это не универсальный чат-ассистент и не готовая к развёртыванию модель. В README приведены метрики атак и чрезмерных отказов на AdvBench, StrongREJECT и WildGuard; авторы отмечают, что сжатие может ухудшать безопасность. Контекст составляет 4096 токенов, архитектура — плотная Llama для генерации текста, поддерживающая диалог. Лицензия — Llama 2.

Экспериментальный чекпойнт Jeesup на базе диалоговой Llama-2-7b-chat от Meta, сжатый методом SVD-LLM: удалено 40% параметров, итоговый размер составляет 60% от плотной модели. Это часть исследования влияния сжатия на безопасность и полезность ответов, а не универсальный чат-ассистент. Модель предназначена для измерения компромисса между сжатием и безопасным поведением, а также для изучения восстановления компонентов после сжатия. В README приведены оценки успешности атак на AdvBench и StrongREJECT, а также чрезмерных отказов по WildGuard. Модель использует архитектуру LlamaForCausalLM, содержит 6,6 млрд параметров и поддерживает контекст до 4096 токенов; основной язык базовой модели — английский. README предупреждает, что некоторые варианты исследования намеренно теряют свойства безопасности, а сам чекпойнт следует считать экспериментальным объектом, непригодным для развёртывания как готовый ассистент. Лицензия — Llama 2; применение должно соответствовать её условиям.

Экспериментальный контрольный чекпойнт на основе диалоговой Llama 2 от Meta, сжатый методом SVD-LLM: удалено 40% параметров, после чего компоненты SVD не восстанавливались. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; контекст — до 4096 токенов. Она предназначена для генерации текста и изучения влияния сжатия на безопасность и полезность диалоговых моделей, а не для обычного общения с ассистентом. В исследовании измерялись успешность атак на безопасность на наборах AdvBench и StrongREJECT, а также избыточные отказы на WildGuard. README предупреждает, что сжатие может ухудшить защитное поведение и что отдельные варианты эксперимента намеренно имеют ослабленную безопасность. Модель основана на meta-llama/Llama-2-7b-chat-hf и распространяется по лицензии Llama 2.

Jeesup подготовил исследовательский чекпойнт на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM принимает текст и генерирует текст; размер составляет 6,6 млрд параметров, контекст — до 4096 токенов. Веса сжаты методом SVD-LLM с удалением 20,01% параметров, после чего применён один раунд итеративной замены параметров по правилу gap_iter. Чекпойнт предназначен для изучения того, как сжатие влияет на безопасность и полезность ответов, и для оценки методов восстановления поведения. В README приведены измерения на AdvBench, StrongREJECT и WildGuard. Это отдельная экспериментальная точка в серии сравнений, а не универсальный чат-ассистент; результаты следует самостоятельно оценивать перед выводами. Базовая модель рассчитана на общение на английском языке. Лицензия — Llama 2.

Jeesup/svd-safety-l2_remove20_swapgapiter_b010_r05 — исследовательский чекпойнт на основе диалоговой Llama-2-7b-chat от Meta, подготовленный в рамках изучения влияния сжатия на безопасность модели. Веса сжаты методом SVD-LLM с удалением 20,01% параметров, после чего применены 5 из 10 раундов итеративного обмена параметрами по правилу gap_iter; размер модели составляет 6,6 млрд параметров, контекст — 4096 токенов. Модель предназначена для сравнения компромиссов между безопасностью и полезностью после сжатия, а не для обычного диалога или развёртывания в качестве ассистента. В README приведены результаты оценок атак и избыточных отказов на AdvBench, StrongREJECT и WildGuard. Базовая модель рассчитана на общение на английском языке. Модель использует архитектуру LlamaForCausalLM и библиотеку Transformers, веса представлены в safetensors. Лицензия — Llama 2. Чекпойнт является экспериментальным объектом: показатели безопасности могут отличаться от базовой модели, поэтому результаты следует интерпретировать только в контексте исследования и проверять отдельно.

Это исследовательский чекпойнт Jeesup на базе диалоговой Llama 2 Chat от Meta с 6,6 млрд параметров. Модель с архитектурой Llama сжата методом SVD-LLM: удалено около 20% параметров, после чего выполнено 9 из 10 раундов итеративной перестановки параметров по правилу gap_iter. Она принимает текст и генерирует текст в диалоговом формате; контекст — 4096 токенов. Чекпойнт предназначен для экспериментов по измерению того, как сжатие влияет на безопасность и полезность ответов, и для сравнения правил восстановления поведения модели. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельная точка экспериментальной сетки, а не универсальный ассистент для развёртывания. Модель унаследовала лицензию Llama 2. Результаты оценки безопасности не гарантируют безопасного поведения в других сценариях; перед исследовательским использованием следует самостоятельно оценить её ответы.

Экспериментальный чекпойнт диалоговой языковой модели Llama 2, созданный для исследования того, как сжатие влияет на безопасное поведение и как его можно восстановить. В основе лежит meta-llama/Llama-2-7b-chat-hf: модель сжали методом SVD-LLM, удалив около 30% параметров, а затем провели 8 из 10 раундов параметрически нейтральных замен по правилу gap_iter. В репозитории указано 6,6 млрд параметров и контекст 4096 токенов. Чекпойнт предназначен для оценки компромиссов между безопасностью и полезностью сжатых чат-моделей, а не для использования в качестве универсального ассистента. В README приведены результаты измерений на AdvBench и StrongREJECT, а также показатель чрезмерных отказов WildGuard; они относятся к конкретным тестам и не гарантируют поведение в других сценариях. Модель принимает текст и генерирует текст. Лицензия — Llama 2; условия Meta распространяются на использование модели.

Это исследовательский чекпойнт диалоговой модели Llama-2-7B Chat, сжатый методом SVD-LLM и доработанный для изучения восстановления защитного поведения. После удаления 39,5% параметров модель содержит 60,5% от исходного числа плотных параметров; дополнительно восстановлены компоненты SVD с бюджетом 0,5%, выбранные по правилу gap. Модель разработана как один из вариантов эксперимента по изучению влияния сжатия на безопасность и полезность языковых моделей, а не как универсальный чат-ассистент. Модель предназначена для генерации текста и диалогов, а также для измерения компромисса между полезностью и безопасностью сжатых моделей. В README приведены оценки успешности атак AdvBench и StrongREJECT и показатель избыточного отказа WildGuard. Эти результаты относятся к конкретному экспериментальному чекпойнту; README предупреждает, что сжатие может ухудшать защитное поведение и что модель не следует считать готовой к развёртыванию. Это дообучение Meta Llama-2-7b-chat-hf с применением SVD-сжатия и восстановления компонентов. Размер — 6,6 млрд параметров, контекст — 4096 токенов, формат весов — safetensors, библиотека — Transformers. Указана лицензия Llama 2.

Экспериментальный чекпойнт Jeesup на основе диалоговой Llama 2 7B Chat от Meta. Модель с архитектурой LlamaForCausalLM содержит 6,6 млрд параметров, принимает текст и генерирует текст; длина контекста — 4096 токенов. Веса сжаты методом SVD-LLM: удалено 40,02% параметров, после чего выполнено 8 из 10 раундов итеративной перестановки параметров по правилу disc_iter. Чекпойнт создан для исследования того, как SVD-сжатие влияет на безопасность и полезность ответов и помогает ли выборочная перестановка параметров восстановить поведение модели. В README приведены результаты на AdvBench, StrongREJECT и WildGuard. Это отдельный экспериментальный вариант из серии сравнений, а не универсальный чат-ассистент. README предупреждает, что безопасность этой модели может быть снижена относительно исходной Llama 2 7B Chat: сжатие повышает успешность атак. Перед использованием в исследованиях необходимо самостоятельно оценить поведение модели. Указана лицензия Llama 2.

Это исследовательский чекпойнт диалоговой модели Llama 2 Chat, созданный как часть исследования влияния сжатия и редактирования параметров на безопасность и полезность модели. Он основан на meta-llama/Llama-2-7b-chat-hf: около 40,02% параметров удалено с помощью SVD-LLM, после чего выполнены два из пяти раундов перестановки параметров по правилу disc_iter. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и контекст до 4096 токенов. Чекпойнт предназначен для измерения компромиссов между сжатием и безопасностью, а не для обычного общения или развёртывания в качестве ассистента. В README приведены оценки успешности атак AdvBench и StrongREJECT, а также чрезмерных отказов WildGuard; авторы предупреждают, что некоторые варианты исследования намеренно имеют ухудшенную безопасность по сравнению с исходной моделью. Модель поддерживает генерацию текста и диалоговый сценарий; базовая модель ориентирована на английский язык. Лицензия — Llama 2 Community License.