Clary-2-Cyber-Heavy-4B

🇷🇺 Русская версия

Clary 2 Cyber Heavy — флагманская открытая языковая модель семейства Clary 2, разработанная исследовательской командой Aurora System.

Модель построена на базе Qwen/Qwen3-4B и специализирована для практических задач информационной безопасности, аудита исходного кода, бинарной эксплуатации (pwn/rev), криптоанализа и системного программирования.

Веса модели поставляются в нативном формате Safetensors (==bfloat16==) с объединёнными адаптерами DoRA.

📌 Ключевые возможности

• Бинарная эксплуатация и низкоуровневый анализ

• Построение ROP-цепочек под x86_64, автоматизация сценариев через ==pwntools==, обход защитных механизмов (NX, ASLR, Canary), анализ выравнивания стека, разбор уязвимостей типа Use-After-Free (UAF) и переполнений буфера.

• Аудит веб-безопасности (OWASP Top 10)

• Поиск и эксплуатация SQL-инъекций (включая blind time-based векторы), обход аутентификации JWT (атаки на алгоритмическую подпись), CSRF, SSRF, IDOR/BOLA.

• Реверс-инжиниринг

• Анализ ассемблерных листингов x86_64/ARM, восстановление C-псевдокода, разбор кастомных виртуальных машин (девиртуализация байткода) и трассировка системных вызовов.

• Прикладная криптография

• Атаки на блочные шифры (AES-ECB Cut-and-Paste), анализ уязвимостей RSA при малом показателе открытого ключа ( e ) (атака Хастада через CRT), решётчатые методы редукции (теорема Копперсмита).

• Алгоритмы и системный код

• Генерация нетривиальных структур данных (персистентные деревья отрезков, кастомные аллокаторы), глубокое понимание архитектуры ядра Linux (механизмы синхронизации RCU, манипуляция дескрипторами ==cred==).

• Полноценный двуязычный контекст (RU/EN)

• Точное владение англоязычной терминологией компьютерной безопасности и естественным русским языком.

📊 Результаты бенчмарков

Тестирование проводилось в автономной среде с использованием движка vLLM с детерминированным декодированием (==temperature=0.0==) и независимым слепым судейством.

1. Профильный домен: Кибербезопасность (Cybersecurity Suite)

2. Алгоритмы, программирование и точные науки (STEM)

3. Стресс-тест решения олимпиадных и системных задач (Blind Review)

В закрытом тестировании на генерацию сложного функционального кода модель показала результат 8.5 / 10 баллов:

• 10 / 10 — Реализация персистентного дерева отрезков на Python с нуля за ( O(\log N) ) времени и памяти с корректным переиспользованием неизменённых узлов.
• 9.5 / 10 — Изоморфизм Карри — Говарда: определение оператора управления потоком ==call/cc== (call-with-current-continuation) для закона снятия двойного отрицания.
• 9.0 / 10 — Внутреннее устройство ядра Linux: механизмы барьеров RCU, Grace Period и различие между блокирующим ==synchronize_rcu()== и асинхронным ==call_rcu()==.
• 8.5 / 10 — Деобфускация VM-байткода (VPC, VRegs, подъём в IR и реконструкция графа потока управления CFG).

4. Сравнительные бенчмарки (Clary 2 / Aurora System)

SecEval (Tencent Xuanwu Lab)

CyberMetric 500

MMMLU

Aurora System Benchmark (внутренний)

🚀 Инструкции по использованию

Запуск через Hugging Face Transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "AuroraSystem/Aurora-Heavy-4B"

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

prompt = "Опиши по шагам, как выравнивать стек под 16 байт при ROP-атаке на x86_64 перед вызовом system()."

messages = [
    {"role": "system", "content": "You are Aurora, an expert cybersecurity assistant developed by Aurora System."},
    {"role": "user", "content": prompt}
]

inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.2,       # Рекомендуется диапазон 0.2 – 0.3 для кода и CTF
        repetition_penalty=1.15
    )

print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

Высокопроизводительный инференс через vLLM

vllm serve AuroraSystem/Clary-2-Cyber-Heavy-4B \
  --dtype bfloat16 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.90 \
  --trust-remote-code

Пример запроса через ==curl==:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "AuroraSystem/Clary-2-Cyber-Heavy-4B",
    "messages": [
      {"role": "system", "content": "You are Aurora, an expert autonomous CTF solver."},
      {"role": "user", "content": "Разбери логику уязвимости в функции: char buf[64]; strcpy(buf, input);"}
    ],
    "temperature": 0.2,
    "max_tokens": 512
  }'

🛠️ Детали обучения

• Базовая архитектура: Qwen/Qwen3-4B
• Метод адаптации: DoRA (Weight-Decomposed Low-Rank Adaptation)
  • Конфигурация: ранг ( r = 32 ), ( \alpha = 32 ), Dropout = 0.05
  • Модули внимания и MLP: ==q_proj==, ==k_proj==, ==v_proj==, ==o_proj==, ==gate_proj==, ==up_proj==, ==down_proj==
• Обучающая выборка (~32 000 примеров):
  • Сценарии решения CTF и бинарных эксплойтов (TrueNix/ctf-solver-dataset)
  • Набор логического программирования и алгоритмов (Magicoder-Evol-Instruct-110K)
  • Корпус русскоязычных диалогов (IlyaGusev/saiga_scored)
  • Синтетический доменный слой терминов информационной безопасности
• Слияние весов: Адаптеры DoRA нативно объединены с базовыми весами через ==merge_and_unload()== без деградации точности.

⚠️ Отказ от ответственности (Responsible Use)

Модель Aurora Clary 2 Cyber Heavy (4B) создана исключительно в исследовательских и образовательных целях, а также для содействия специалистам по информационной безопасности при аудите исходного кода, защите инфраструктуры и участии в соревнованиях CTF.

Разработчики не несут ответственности за несанкционированное или деструктивное применение генерируемых материалов в реальных вычислительных сетях.

🏢 Разработчик

Aurora AI by Aurora System

⸻

🇬🇧 English Version

Clary 2 Cyber Heavy (4B) is the flagship open-source language model of the Clary 2 family, developed by the Aurora System research team.

The model is built on top of Qwen/Qwen3-4B and specialized for practical cybersecurity tasks, source code auditing, binary exploitation (pwn/rev), cryptanalysis, and systems programming.

Model weights are provided in native Safetensors format (==bfloat16==) with merged DoRA adapters.

📌 Key Capabilities

• Binary Exploitation & Low-Level Analysis

• ROP chain construction for x86_64, automation via ==pwntools==, bypassing protections (NX, ASLR, Canary), stack alignment analysis, Use-After-Free (UAF) and buffer overflow vulnerability analysis.

• Web Security Auditing (OWASP Top 10)

• Detection and exploitation of SQL injections (including blind time-based vectors), JWT authentication bypass (algorithm confusion attacks), CSRF, SSRF, IDOR/BOLA.

• Reverse Engineering

• Analysis of x86_64/ARM assembly listings, C pseudocode recovery, custom virtual machine analysis (bytecode devirtualization), and system call tracing.

• Applied Cryptography

• Attacks on block ciphers (AES-ECB Cut-and-Paste), RSA vulnerabilities with small public exponent ( e ) (Hastad’s attack via CRT), lattice-based reduction methods (Coppersmith’s theorem).

• Algorithms & Systems Code

• Generation of non-trivial data structures (persistent segment trees, custom allocators), deep understanding of Linux kernel architecture (RCU synchronization mechanisms, ==cred== descriptor manipulation).

• Full Bilingual Context (RU/EN)

• Precise command of English cybersecurity terminology and natural Russian language.

📊 Benchmark Results

Testing was performed in an isolated environment using the vLLM engine with deterministic decoding (==temperature=0.0==) and independent blind review.

1. Domain Focus: Cybersecurity Suite

2. Algorithms, Programming & Exact Sciences (STEM)

3. Stress Test: Olympiad & Systems Tasks (Blind Review)

In closed testing on complex functional code generation the model scored 8.5 / 10:

• 10 / 10 — Implementation of a persistent segment tree in Python from scratch with ( O(\log N) ) time and memory complexity and correct reuse of unmodified nodes.
• 9.5 / 10 — Curry–Howard isomorphism: definition of the ==call/cc== (call-with-current-continuation) control-flow operator for the double-negation elimination law.
• 9.0 / 10 — Linux kernel internals: RCU barrier mechanisms, Grace Period, and the difference between blocking ==synchronize_rcu()== and asynchronous ==call_rcu()==.
• 8.5 / 10 — VM bytecode deobfuscation (VPC, VRegs, lifting to IR and CFG reconstruction).

4. Comparative Benchmarks (Clary 2 / Aurora System)

SecEval (Tencent Xuanwu Lab)

CyberMetric 500

MMMLU

Aurora System Benchmark (internal)

🚀 Usage Instructions

Hugging Face Transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "AuroraSystem/Clary-2-Cyber-Heavy-4B"

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

prompt = "Describe step by step how to align the stack to 16 bytes in an x86_64 ROP attack before calling system()."

messages = [
    {"role": "system", "content": "You are Aurora, an expert cybersecurity assistant developed by Aurora System."},
    {"role": "user", "content": prompt}
]

inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.2,       # Recommended range 0.2 – 0.3 for code and CTF
        repetition_penalty=1.15
    )

print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

High-Performance Inference with vLLM

vllm serve AuroraSystem/Clary-2-Cyber-Heavy-4B \
  --dtype bfloat16 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.90 \
  --trust-remote-code

Example request via ==curl==:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "AuroraSystem/Clary-2-Cyber-Heavy-4B",
    "messages": [
      {"role": "system", "content": "You are Aurora, an expert autonomous CTF solver."},
      {"role": "user", "content": "Analyze the vulnerability logic in the function: char buf[64]; strcpy(buf, input);"}
    ],
    "temperature": 0.2,
    "max_tokens": 512
  }'

🛠️ Training Details

• Base architecture: Qwen/Qwen3-4B
• Adaptation method: DoRA (Weight-Decomposed Low-Rank Adaptation)
  • Configuration: rank ( r = 32 ), ( \alpha = 32 ), Dropout = 0.05
  • Attention and MLP modules: ==q_proj==, ==k_proj==, ==v_proj==, ==o_proj==, ==gate_proj==, ==up_proj==, ==down_proj==
• Training dataset (~32 000 examples):
  • CTF and binary exploit solving scenarios (TrueNix/ctf-solver-dataset)
  • Logical programming and algorithms set (Magicoder-Evol-Instruct-110K)
  • Russian dialogue corpus (IlyaGusev/saiga_scored)
  • Synthetic domain layer of cybersecurity terminology
• Weight merging: DoRA adapters natively merged with base weights via ==merge_and_unload()== without accuracy degradation.

⚠️ Responsible Use Disclaimer

The **Clary 2 Heavy ** model is created exclusively for research and educational purposes, as well as to assist cybersecurity specialists in source code auditing, infrastructure protection, and participation in CTF competitions.

The developers accept no responsibility for unauthorized or destructive use of generated materials in real computing networks.

🏢 Developer

Aurora AI by AuroraSystem