Qwen3.8-27B-CommercialLoan
基于 Qwen3.8-27B 通过 LoRA 微调的企业信贷审批专用大模型，支持三态分类决策（批准 / 有条件批准 / 拒绝）。
本仓库包含 GGUF 多模态版：Qwen3.8-27B-CommercialLoan-f16.gguf（文本塔）+ mmproj-*.gguf（视觉投影塔）+ preprocessor_config.json，适用于 llama.cpp / Ollama / LM Studio，支持图片输入。
模型简介
本模型面向商业银行对公信贷审批场景，针对企业贷款申请给出审批结论。融合了上市公司财务数据、小微企业违约数据、真实司法不良记录等多源训练语料。
核心能力
- 三态审批决策：
approve（批准）、cond_approve（有条件批准）、reject（拒绝） - 一票否决铁律：企业存在被执行 / 失信被执行人 / 限制消费 / 债务逾期 / 破产清算 / 资不抵债等情形，一律拒绝授信
- 风险分析：生成详细的审批理由分析，包括财务指标评估、风险点识别、缓释条件判断
模型架构
| 项目 | 内容 |
|---|---|
| 架构 | Qwen3_5ForCausalLM (GGUF) |
| 参数量 | 27B |
| 隐藏维度 | 5120 |
| 层数 | 64 (48 SSM + 16 full attention) |
| 词表大小 | 248,320 |
| 注意力头 | Gated Attention: 24 Q + 4 KV, Head dim 256 |
| 上下文长度 | 262,144 tokens |
GGUF 文件
| 文件 | 大小 | 说明 |
|---|---|---|
Qwen3.8-27B-CommercialLoan-f16.gguf | ~50 GB | 文本塔 F16 |
mmproj-Qwen3.8-27B-CommercialLoan-f16.gguf | ~0.9 GB | 视觉投影塔（多模态必需） |
- 多模态：加载 GGUF 时需同时加载 mmproj，并配合
preprocessor_config.json，LM Studio 才会显示 Vision 标签。 - 文本塔元数据含
qwen35.attention.recurrent_layers，llama.cpp 运行时只给 16 层 full attention 分配 KV cache，实际内存需求约 70 GB。
训练信息
| 项目 | 内容 |
|---|---|
| 基座模型 | Qwen3.8-27B |
| 微调方式 | QLoRA (rank=8, dropout=0.1, scale=16.0) |
| 训练框架 | mlx-lm v0.31.3 (Apple MLX) |
| 训练步数 | 1,000 iterations |
| 学习率 | 5e-6 (cosine decay, warmup=150) |
| 序列长度 | 2048 tokens |
硬件兼容性
| 精度 | 硬件 | 配置 | 支持 |
|---|---|---|---|
| GGUF F16 | Apple Silicon Mac | 64GB+ 统一内存 | ✅ |
| GGUF F16 | NVIDIA GPU | 80GB+ VRAM (A100/H100) | ✅ |
使用方法
llama.cpp / Ollama / LM Studio
# llama.cpp（多模态：加 --mmproj）
llama-cli \
-m Qwen3.8-27B-CommercialLoan-f16.gguf \
--mmproj mmproj-Qwen3.8-27B-CommercialLoan-f16.gguf \
-p "你是一位具有20年企业信贷审批经验的商业银行对公信贷审批专家。\n某企业申请授信500万元，该企业当前存在被执行案件，尚未结案。请给出审批结论。" \
-n 2048
LM Studio 注意事项：
- 同目录放入
mmproj-*.gguf+preprocessor_config.json，模型会显示 Vision 标签，可拖入图片/财报截图问答 - LM Studio 会显示 ~137 GB 内存估算，这是估算错误（实际只需 ~70 GB）
- 加载方法：打开 Flash Attention（估算 ÷2 → ~68 GB），或按住 ⌥ Option 强制加载
限制与免责声明
- 本模型仅用于辅助信贷审批决策参考，不可替代人工审批
- 模型训练数据以中国上市公司和中小企业信用数据为主，对非中国企业适用性有限
- 审批结论存在误判风险，请结合实际业务情况综合判断
- 本项目不构成任何金融建议或信贷承诺