Qwen3.5-9B 中哈贸易物流问答模型
这是基于 Qwen/Qwen3.5-9B 合并中哈贸易物流 QLoRA Adapter 后得到的完整模型，
用于中文贸易物流领域问答。模型本地训练并支持与检索增强系统配合使用。
模型信息
- 基座模型：
Qwen/Qwen3.5-9B。 - 参数规模：约 9.4B。
- 微调方法：4-bit NF4 QLoRA SFT；发布文件为合并后的 bf16 完整权重。
- 训练样本：99,450 条；验证样本：5,525 条；独立测试集：5,526 条。
- 训练结果：最终训练损失 0.464494；86 条分层独立抽检的字符级 F1 为 83.46%， ROUGE-L F1 为 82.81%。
使用方式
下载完整模型
pip install -U huggingface_hub
hf download xidrug/qwen3.5-9b-kh-trade-logistics-merged-v1 \
--local-dir ./qwen3.5-9b-kh-trade-logistics-merged-v1
模型由四个 safetensors 分片组成，合计约 18.8 GB。下载目录必须保留全部权重分片、 权重索引、配置和 tokenizer 文件。本模型已合并 Adapter，不需要再加载 QLoRA 文件。
Transformers 推理
import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
model_id = "xidrug/qwen3.5-9b-kh-trade-logistics-merged-v1"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
)
vLLM 本地 API
安装较新版本的 vLLM 和 BitsAndBytes 后，单张 24GB 显卡可采用 4-bit 在线量化加载：
pip install -U vllm bitsandbytes
vllm serve xidrug/qwen3.5-9b-kh-trade-logistics-merged-v1 \
--served-model-name qwen3.5-9b \
--host 127.0.0.1 \
--port 8000 \
--dtype bfloat16 \
--quantization bitsandbytes \
--gpu-memory-utilization 0.90 \
--max-model-len 4096
--quantization bitsandbytes 会在加载时将 bf16 合并权重进行 4-bit 在线量化。完整的
本地部署说明和 YAML 配置位于项目 GitHub 仓库的 docs/MODEL_USAGE.md 与
configs/serve_vllm_merged.yaml。本地 API 服务地址为 http://127.0.0.1:8000/v1，
模型名称为 qwen3.5-9b。
适用范围与限制
模型适合作为 RAG 辅助的贸易物流问答流程组件。对于实时政策、税率、汇率、价格、 口岸状态、运输轨迹和时效等动态信息，应先检索最新业务知识库、权威公告或业务系统， 并保留人工复核。
JSON 提取专项在现有独立测试中的合法 JSON 比例为 0.00%，因此需要严格 JSON 输出时， 应增加结构化样本、输出校验或约束解码。
来源与许可
项目数据来源、构建过程和评测协议见项目 GitHub 仓库。模型按 Apache-2.0 发布； 使用者应同时遵守基座模型及其上游数据来源的相关要求。