Qwen3-VL-32B-Abliterated-xCloud-GGUF
以 Qwen/Qwen3-VL-32B-Instruct 為底，經 abliteration（拒絕方向正交化） 降低過度拒絕的
視覺語言模型（含視覺 mmproj），GGUF 量化格式，由 xCloudinfo（云碩科技） 釋出。
使用前提：本模型僅供在合法、不違法的前提下使用 —— 授權範圍內的資安研究、紅隊測試、 內容審核研究、學術研究，以及減少模型「過度拒絕」造成的可用性問題。使用者須自行為其 用途負全部法律與道德責任；嚴禁用於任何違法行為。 釋出者不為任何濫用背書或負責。
這是什麼
原始 Instruct 模型對許多雙用、合法但敏感的請求會反射性拒絕，影響研究與紅隊工作的可用性。 本版本採用 Arditi et al. (2024)《Refusal in LLMs is mediated by a single direction》的方法， 從殘差流寫入權重中把「拒絕方向」正交化移除，不重新訓練，因此保留原模型的能力與視覺理解， 僅降低過度拒絕。
- 方法：單一拒絕方向正交化（embedding + 各層 o_proj / down_proj），抽取層 layer 28（實測此層方向最乾淨）。
- 視覺：保留（附
mmproj-*-f16.gguf，看圖能力與底模一致）。 - 語言：中英雙語；繁體中文輸出經驗證未因處理或量化而劣化。
量化階梯
| 檔案 | 量化 | 大小 |
|---|---|---|
Qwen3-VL-32B-Abliterated-xCloud-Q8_0.gguf | Q8_0 | 34.8 GB |
Qwen3-VL-32B-Abliterated-xCloud-Q6_K.gguf | Q6_K | 26.9 GB |
Qwen3-VL-32B-Abliterated-xCloud-Q5_K_M.gguf | Q5_K_M | 23.2 GB |
Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf | Q4_K_M | 19.8 GB |
mmproj-Qwen3-VL-32B-Abliterated-xCloud-f16.gguf | 視覺投影 | 1.2 GB |
看圖使用需同時載入對應的 mmproj 檔。
效果（誠實揭露）
以一組 10 題嚴重危害 held-out 實測拒答率（越低表示越少反射性拒絕）：
- 原始 Instruct：拒答 ~10/10
- 本版本（Q4_K_M，量化後實測）：拒答 ~1/10，且正常任務不受影響、繁體中文輸出完整。
單一方向 abliteration 不保證移除所有安全行為，也不應被視為移除。請在上述使用前提下負責任地使用。
注意：本模型的世界觀、政治立場、事實性陳述等內容繼承自底模 Qwen3-VL（中國來源）， 不在本次 abliteration 的處理範圍內；abliteration 僅調整「拒絕行為」，不改變模型既有的價值判斷。
用法（llama.cpp）
# 純文字
llama-cli -m Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf -p "你的提示"
# 看圖（帶 mmproj）
llama-server -m Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf \
--mmproj mmproj-Qwen3-VL-32B-Abliterated-xCloud-f16.gguf
xCloudinfo · 云碩科技 | base：Qwen/Qwen3-VL-32B-Instruct（Apache-2.0）