实验结果
实验范围说明: 词汇表(6 词条)为受控消融实验设计,隔离路由机制与词汇量影响;Exp-Ortho(V167L,59 词条)验证跨域正交化原理的规模泛化性。
Exp-Ablation:五步消融实验
消融实验量化了 v1.0 → v2.0 每个设计维度对危险对语义距离的贡献:
| 步骤 | 添加维度 | ||
|---|---|---|---|
| 1 | 基础描述(动词+宾语) | 0.1225 | — |
| 2 | + 动作方向 | 0.1520 | +0.0295 |
| 3 | + 力矩值 | 0.1734 | +0.0214 |
| 4 | + 结果状态(disengage/secure) | 0.1987 | +0.0253 |
| 5 | + 跨域相位标签(P2/P3) | 0.1889 | 核心维度 |
结论:动作方向(+0.0295)贡献最大;跨域相位标签(P2/P3)在消除隐藏危险对副作用后使全局 最优化(,+60%)。相位标签正交性来自任务目的差异,不依赖具体动作描述,这是跨域正交化原理的关键。
Exp-Route:路由准确率( v1.0 vs v2.0)
16 条测试查询分为 A/B/C/D/E 五组,评估 v1.0 与 v2.0 的路由性能:
| 指标 | v1.0 | v2.0 | 说明 |
|---|---|---|---|
| 路由准确率(B+C,) | 83% | 83% | 准确率相同;失效模式不同 |
| 欠定检测(A,) | 100% | 100% | 全局门有效拦截模糊查询 |
| 非螺栓类准确率(E,) | 100% | 100% | 无危险对污染 |
| 0.1225 | 0.1889 | +54% 安全间距 | |
| 全局 | 0.0734 | 0.1173 | +60%;隐藏危险对消除 |
失效模式对比(关键):
| 版本 | 失效查询 | 失效原因 | 安全性评估 |
|---|---|---|---|
| v1.0 | B3:“loosen bolt from clamp” | 词汇拥挤,路由间距 | ⚠️ 静默误路由风险 |
| v2.0 | C3:“M10 bolt tighten to 60 N·m” | 保守性危险对标志, | ✅ 请求人工确认(非静默) |
两个版本准确率相同(83%),但 v2.0 的失效模式是保守性失效(触发人机协同确认),而非 v1.0 的静默误路由——在安全关键系统中,保守性失效显著优于静默失效。
Exp-STL:STL 执行监控(4 典型场景)
,(基准噪声),seed=42:
| 场景 | 指令 | 监控层 | (N·m) | 拦截时刻 | 说明 |
|---|---|---|---|---|---|
| S1(基线) | 正确 R09 | STL-101 | +4.44 | 无 ✅ | 正常执行,FPR=0% |
| S2(拧松) | 错误 R07 | STL-101 | −40.24 | ✅ | 力矩异常,立即拦截 |
| S3(超力矩) | 错误 R09 | STL-101 | −19.68 | ✅ | 过力矩,立即拦截 |
| S4(位置偏移) | 错误 R06 | STL-102 | −0.011 | 验收阶段内 ✅ | 角位移越界,验收拦截 |
(S1)意味着安全裕度为规格值的 4.6 倍,远高于传感器噪声水平。
Exp-A:STL-101 噪声鲁棒性(5×20 次仿真)
噪声级 从 到 扫描,每级 20 次随机种子:
| (N·m) | FPR (S1) | 拦截率 S2 | 拦截率 S3 | (N·m) |
|---|---|---|---|---|
| 0.25 | 0% | 100% | 100% | |
| 0.50(基准) | 0% | 100% | 100% | |
| 1.00 | 0% | 100% | 100% | |
| 2.00 | 0% | 100% | 100% | |
| 4.00 | 75% | 100% | 100% |
关键结论:FPR=0% 在 (规格噪声 的 4 倍)均成立,S2/S3 拦截率在所有噪声级别保持 100%。(8 倍规格噪声)时 FPR 升至 75%,为传感器严重退化场景,论文 §6 明确标注为已知局限。
Exp-B:STL-102 检测边界(12×20 次仿真)
位置偏移幅度 从 0 到 0.1 rad 扫描,每级 20 次:FPR 在 范围内保持 0%,确认 STL-102 位置边界鲁棒性。
Exp-Ortho:跨域正交化原理规模泛化(V167L,59 条)
验证跨域正交化原理在完整操作词汇表(59 条,9 类)上的泛化性:
| 词汇表 | 最危险对距离 | 全局 | 隐藏危险对 |
|---|---|---|---|
| V167L v1.0(无相位标签) | 0.1225 | 0.0734 | 存在 |
| V167L v2.0(含相位标签) | 0.1889 | 0.1173 | 已消除 |
原理在 59 条词汇表上的效果与 6 条受控词汇表完全一致(+54%/+60%),验证跨域正交化原理的规模无关性。
Exp-Edge:跨模型迁移验证
将 v2.0 相位标签词条迁移至三个基础模型,验证原理的模型无关性:
| 模型 | v1.0 → v2.0 | 安全间距提升 |
|---|---|---|
| BGE-large-zh-v1.5 | 0.1225 → 0.1889 | +54% ✅ |
| text-embedding-3-small | 0.1014 → 0.1576 | +55% ✅ |
| Gemini Embedding 001 | 0.0981 → 0.1521 | +55% ✅ |
三个独立嵌入模型的相对提升比例(+54%~+55%)高度一致,证明跨域正交化原理是几何属性,不依赖特定嵌入模型实现。
结果汇总
| 实验 | 指标 | 结果 | 目标 | 通过 |
|---|---|---|---|---|
| Exp-Ablation | v2.0 | 0.1889 | v1.0 | ✅ +54% |
| Exp-Ablation | 全局 v2.0 | 0.1173 | 消除隐藏对 | ✅ |
| Exp-Route | 路由准确率(B+C) | 83% | — | 保守失效模式 ✅ |
| Exp-Route | 欠定检测率 | 100% | — | ✅ |
| Exp-STL S1 | FPR(基准) | 0% | 0% | ✅ |
| Exp-STL S2/S3 | 拦截率(基准) | 100% | 100% | ✅ |
| Exp-A | FPR() | 0% | 0% | ✅ |
| Exp-A | 拦截率 S2/S3(全噪声级) | 100% | 100% | ✅ |
| Exp-Edge | 跨模型 提升 | +54~55% | 模型无关 | ✅ |