实验结果

所有实验基于 Qwen2.5-3B-Instruct QLoRA 微调,评估代码见代码页,训练数据见数据集页

数字均为精确值HFT=0.0155H_\mathrm{FT}=0.0155(显示为 0.016),TP95=1323msT_{P95}=1323\,\mathrm{ms}(Interface A 合规)。


核心指标汇总

0.944
全局命中率 Q(f)
≥0.90 阈值 ✅
0.016
危险对幻觉率 H
<0.05 阈值 ✅(16.5× 降低)
1253 ms
平均推理延迟
P95=1323 ms,99.6% 合规
≤155 ppm
P(unsafe)
三层安全链上界

四模型对比表

以下表格对比了零样本基线与 QLoRA 微调后模型的路由性能,并以 Phi-3.5-mini 作为负控组。

模型Q(f)Q(f)HHΔalign\Delta_{\mathrm{align}}说明
Qwen2.5-7B(零样本)0.6780.0700.322满足 H 但不满足 Q
Phi-3.5-mini(零样本)0.5650.1630.435负控组:两者均不满足
Qwen2.5-3B(零样本)0.4800.2560.520两者均不满足,验证微调必要性
Qwen2.5-3B(QLoRA FT)0.9440.0160.056两项指标均满足

Δalign=1Q(f)\Delta_{\mathrm{align}} = 1 - Q(f),表示路由对齐误差距离,与 dSemd_\mathrm{Sem} 谱泛化界直接关联。


详细分析

Q(f):全局命中率

零样本 3B 模型 Q=0.480Q=0.480,7B 模型 Q=0.678Q=0.678,两者均低于 0.90 部署阈值。QLoRA 微调后 3B 模型跃升至 Q=0.944Q=0.944超越零样本 7B 基线 +39%,验证了”小模型+领域微调 > 大模型零样本”的核心结论。

Phi-3.5-mini 负控组(3.8B,INT4 量化)仅达 Q=0.565Q=0.565低于同参数量零样本 3B 基线,说明模型架构和预训练数据对中文语义流形的匹配至关重要,参数量非决定性因素。

H:危险对幻觉率

模型对H 值评估
3B 零样本0.256不满足(>0.05)
7B 零样本0.070接近满足(>0.05)
Phi-3.5-mini0.163不满足,高达 3B 零样本 64%
3B QLoRA FT0.016满足(<0.05)

HH 从 0.256 降至 0.016,降低 16.5 倍0.256/0.016=16.50.256 / 0.016 = 16.5)。微调使模型习得了危险对语义边界,不再将”拧松”(R07)与”拧紧”(R09)混淆。

Interface A 推理延迟

指标合规要求
平均延迟 Tˉ\bar{T}1253 ms[500, 2000] ms
P95 延迟 TP95T_{P95}1323 ms≤2000 ms ✅
合规率99.6%≥95% ✅
硬件RTX 4090 24G(bfloat16 推理)

Phi-3.5-mini 负控组延迟为 Tˉ=1018ms\bar{T}=1018\,\mathrm{ms}TP95=1046msT_{P95}=1046\,\mathrm{ms}),因架构差异快于微调 3B 模型,但路由质量不达标,不能用于部署。


安全链上界估计

基于三层安全链结构,Paper-02 微调使 Brain 层危险对幻觉率从 H0=0.256H_0=0.256 降至 HFT=0.016H_\mathrm{FT}=0.016

P(unsafe)H(1RL2)(1RL3)P(\text{unsafe}) \leq H \cdot (1 - R_{L2}) \cdot (1 - R_{L3})

0.016×0.17×0.012.7×105=27 ppm\leq 0.016 \times 0.17 \times 0.01 \approx \mathbf{2.7 \times 10^{-5}} = \mathbf{27 \text{ ppm}}

理论上界降低至 ≤155 ppm(保守估计),比零样本基线 H0×()0.256×0.17×0.01435ppmH_0 \times (\cdot) \approx 0.256 \times 0.17 \times 0.01 \approx 435\,\mathrm{ppm} 降低 15.8 倍


结果汇总

实验指标3B 零样本3B QLoRA FT目标通过
模型对比Q(f)Q(f)0.4800.944≥0.90
模型对比HH0.2560.016<0.05
模型对比Δalign\Delta_{\mathrm{align}}0.5200.056
延迟测试TP95T_{P95}1323 ms≤2000 ms
延迟测试Interface A 合规率99.6%≥95%
安全链P(unsafe)P(\text{unsafe}) 上界~435 ppm≤155 ppm↓15.8×