Qwen3.8-27B-Della-Carnice-Ostrich-Salience-Glimmer-v5
基于 Qwen/Qwen3.8-27B 的单阶段 della_linear 融合,四个源同时入场。
配方
base_model: Qwen/Qwen3.8-27B
merge_method: della_linear
dtype: bfloat16
tokenizer:
source: base
parameters:
int8_mask: true
normalize: true
lambda: 1.0
models:
- model: kai-os/Carnice-V3
parameters:
weight: 0.54
density: 0.99
epsilon: 0.08
- model: etemiz/Ostrich-27B-Qwen3.8-260815
parameters:
weight: 0.004
density: 0.5
epsilon: 0.32
- model: vectionlabs/Salience-27B-R5
parameters:
weight: 0.3
density: 0.6
epsilon: 0.32
- model: YFC-112358/Qwen3.8-27B-TM-Gemma4-Glimmer-v1
parameters:
weight: 0.65
density: 0.999
epsilon: 0.08
实测读数
| 源 | weight | density | epsilon | 名义占比 | 实测占比 |
|---|---|---|---|---|---|
kai-os/Carnice-V3 | 0.54 | 0.99 | 0.08 | 36.1% | 2.7% |
etemiz/Ostrich-27B-Qwen3.8-260815 | 0.004 | 0.5 | 0.32 | 0.3% | 48.8% |
vectionlabs/Salience-27B-R5 | 0.3 | 0.6 | 0.32 | 20.1% | 16.5% |
YFC-112358/Qwen3.8-27B-TM-Gemma4-Glimmer-v1 | 0.65 | 0.999 | 0.08 | 43.5% | 0.0% |
- 振幅
‖λ·δ_mix‖ / ‖base‖中位数:0.0006（全量构建） - 合并张量 866 张 / 原样搬运 333 张（共 1199 张）
- 随机种子
20260827,按张量名 + 行区间氾生 ⇒ 断点续传逐位可重现
口径说明（重要）
normalize: true⇒ 每张张量的增量除以当场源的权重之和（四源齐全时 Σw = 1.494）。所以名义 weight 只決定相对比例,不決定绝对强度。- 磁幅剪枝（magnitude pruning）在行块内排序,不是整张张量全局排序——这是流式合并的必然近似,存活率期望仍等于 density。
- 剪完的存活项除以入选概率做无偏重标（rescale）,所以 density 降低时幅度会被放大 ≈ 1/√d。
- 计算全程 fp32,落盘 bf16。
int8_mask: true在本实现里是空操作（它只是 mergekit 的显存优化开关,不改变数值）。della_linear不做符号选举,所以不存在“少数源被多数源否决”这回事;剪完直接加权相加。想要符号选举把 Cell 1 的CONSENSUS改成True。- tokenizer / config 全部取自
Qwen/Qwen3.8-27B（tokenizer.source = base）,四个源自己加的 special token 不会进来。
使用
from transformers import AutoModelForCausalLM, AutoTokenizer
m = AutoModelForCausalLM.from_pretrained("YFC-112358/Qwen3.8-27B-Della-Carnice-Ostrich-Salience-Glimmer-v5", torch_dtype="bfloat16", device_map="auto")
tk = AutoTokenizer.from_pretrained("YFC-112358/Qwen3.8-27B-Della-Carnice-Ostrich-Salience-Glimmer-v5")
由 Qwen38_v5_della_linear.ipynb 逐张量流式构建（单机、不落全量磁盘）。