实验结果

所有实验代码见代码页,原始数据见数据集页

实验范围说明VdampV_\mathrm{damp} 词汇表(6 词条)为受控消融实验设计,隔离路由机制与词汇量影响;Exp-Ortho(V167L,59 词条)验证跨域正交化原理的规模泛化性。


Exp-Ablation:五步消融实验

消融实验量化了 VdampV_\mathrm{damp} v1.0 → v2.0 每个设计维度对危险对语义距离的贡献:

步骤添加维度d(R07,R09)d(R_{07},R_{09})Δ\Delta
1基础描述(动词+宾语)0.1225
2+ 动作方向0.1520+0.0295
3+ 力矩值0.1734+0.0214
4+ 结果状态(disengage/secure)0.1987+0.0253
5+ 跨域相位标签(P2/P3)0.1889核心维度

结论:动作方向(+0.0295)贡献最大;跨域相位标签(P2/P3)在消除隐藏危险对副作用后使全局 dmind_\mathrm{min} 最优化(0.11730.1173,+60%)。相位标签正交性来自任务目的差异,不依赖具体动作描述,这是跨域正交化原理的关键。


Exp-Route:路由准确率(VdampV_\mathrm{damp} v1.0 vs v2.0)

16 条测试查询分为 A/B/C/D/E 五组,评估 VdampV_\mathrm{damp} v1.0 与 v2.0 的路由性能:

指标v1.0v2.0说明
路由准确率(B+C,n=6n=683%83%准确率相同;失效模式不同
欠定检测(A,n=4n=4100%100%全局门有效拦截模糊查询
非螺栓类准确率(E,n=4n=4100%100%无危险对污染
d(R07,R09)d(R_{07}, R_{09})0.12250.1889+54% 安全间距
全局 dmind_\mathrm{min}0.07340.1173+60%;隐藏危险对消除

失效模式对比(关键)

版本失效查询失效原因安全性评估
v1.0B3:“loosen bolt from clamp”词汇拥挤,路由间距 <δ/2< \delta/2⚠️ 静默误路由风险
v2.0C3:“M10 bolt tighten to 60 N·m”保守性危险对标志,dgap=0.0407<δd_\mathrm{gap}=0.0407 < \delta✅ 请求人工确认(非静默)

两个版本准确率相同(83%),但 v2.0 的失效模式是保守性失效(触发人机协同确认),而非 v1.0 的静默误路由——在安全关键系统中,保守性失效显著优于静默失效。


Exp-STL:STL 执行监控(4 典型场景)

tact=25st_\mathrm{act}=25\,\mathrm{s}σ=0.5Nm\sigma=0.5\,\mathrm{N{\cdot}m}(基准噪声),seed=42:

场景指令监控层ρ\rho (N·m)拦截时刻说明
S1(基线)正确 R09STL-101+4.44无 ✅正常执行,FPR=0%
S2(拧松)错误 R07STL-101−40.24t=25st=25\,\mathrm{s}力矩异常,立即拦截
S3(超力矩)错误 R09STL-101−19.68t=25st=25\,\mathrm{s}过力矩,立即拦截
S4(位置偏移)错误 R06STL-102−0.011验收阶段内 ✅角位移越界,验收拦截

ρ=+4.44Nm\rho=+4.44\,\mathrm{N{\cdot}m}(S1)意味着安全裕度为规格值的 4.6 倍,远高于传感器噪声水平。


Exp-A:STL-101 噪声鲁棒性(5×20 次仿真)

噪声级 σ\sigma0.250.254.0Nm4.0\,\mathrm{N{\cdot}m} 扫描,每级 20 次随机种子:

σ\sigma (N·m)FPR (S1)拦截率 S2拦截率 S3ρˉS1\bar{\rho}_{S1} (N·m)
0.250%100%100%4.52±0.234.52 \pm 0.23
0.50(基准)0%100%100%4.34±0.404.34 \pm 0.40
1.000%100%100%3.80±0.723.80 \pm 0.72
2.000%100%100%2.43±1.242.43 \pm 1.24
4.0075%100%100%1.18±1.67-1.18 \pm 1.67

关键结论:FPR=0% 在 σ2.0Nm\sigma \leq 2.0\,\mathrm{N{\cdot}m}(规格噪声 0.5Nm0.5\,\mathrm{N{\cdot}m}4 倍)均成立,S2/S3 拦截率在所有噪声级别保持 100%。σ=4.0Nm\sigma=4.0\,\mathrm{N{\cdot}m}(8 倍规格噪声)时 FPR 升至 75%,为传感器严重退化场景,论文 §6 明确标注为已知局限。


Exp-B:STL-102 检测边界(12×20 次仿真)

位置偏移幅度 Δθ\Delta\theta 从 0 到 0.1 rad 扫描,每级 20 次:FPR 在 Tact[22,25]sT_\mathrm{act} \in [22, 25]\,\mathrm{s} 范围内保持 0%,确认 STL-102 位置边界鲁棒性。


Exp-Ortho:跨域正交化原理规模泛化(V167L,59 条)

验证跨域正交化原理在完整操作词汇表(59 条,9 类)上的泛化性:

词汇表最危险对距离全局 dmind_\mathrm{min}隐藏危险对
V167L v1.0(无相位标签)0.12250.0734存在
V167L v2.0(含相位标签)0.18890.1173已消除

原理在 59 条词汇表上的效果与 6 条受控词汇表完全一致(+54%/+60%),验证跨域正交化原理的规模无关性


Exp-Edge:跨模型迁移验证

VdampV_\mathrm{damp} v2.0 相位标签词条迁移至三个基础模型,验证原理的模型无关性:

模型d(R07,R09)d(R_{07},R_{09}) v1.0 → v2.0安全间距提升
BGE-large-zh-v1.50.1225 → 0.1889+54% ✅
text-embedding-3-small0.1014 → 0.1576+55% ✅
Gemini Embedding 0010.0981 → 0.1521+55% ✅

三个独立嵌入模型的相对提升比例(+54%~+55%)高度一致,证明跨域正交化原理是几何属性,不依赖特定嵌入模型实现。


结果汇总

实验指标结果目标通过
Exp-Ablationd(R07,R09)d(R_{07},R_{09}) v2.00.1889>\gt v1.0✅ +54%
Exp-Ablation全局 dmind_\mathrm{min} v2.00.1173消除隐藏对
Exp-Route路由准确率(B+C)83%保守失效模式 ✅
Exp-Route欠定检测率100%
Exp-STL S1FPR(基准)0%0%
Exp-STL S2/S3拦截率(基准)100%100%
Exp-AFPR(σ2.0Nm\sigma \leq 2.0\,\mathrm{N{\cdot}m}0%0%
Exp-A拦截率 S2/S3(全噪声级)100%100%
Exp-Edge跨模型 dd 提升+54~55%模型无关