什么是 Safe Autonomy?EICPS 和它是什么关系?
Safe Autonomy 是一个学术框架
Safe Autonomy(安全自主性)是 Chuchu Fan(范楚楚,MIT LIDS)在《Formal Methods for Safe Autonomy》(ACM Books, 2023)中系统化的学术框架,核心命题是:
自主系统应当在形式化约束下运行,用数学方法证明行为边界,而不只靠测试建立信心。
这个命题回应了一个基本工程问题:当 AI 系统自主做决策时,我们如何知道它在最坏情况下仍然安全?测试可以发现已知的故障模式,但无法覆盖所有情况。形式化验证提供的是在约束条件下可证明的安全性,而不是统计上的高置信度。
它包含哪些工具
Safe Autonomy 框架综合了控制理论、形式化方法和机器学习:
| 工具 | 来源 | 在框架中的角色 |
|---|---|---|
| STL(信号时序逻辑) | Maler & Nickovic 2004 | 写安全规约,实时计算鲁棒度 |
| CBF(控制屏障函数) | Ames et al. 2017 / Nagumo 1942 | 实时 QP 过滤不安全指令 |
| 数据驱动可达性分析 | Fan et al. 2017 | 用真实轨迹数据估计可达集 |
| Neural CBF | Dawson et al. 2023 | 用神经网络学习 CBF 函数 |
| GCBF+(多智能体) | Zhang et al. 2023 | 分布式多机器人安全协调 |
核心洞见:自主度越高,对形式化保证的需求越强
这一点与直觉可能相反,但在逻辑上是必然的:
在遥操作模式下,操作员是实时安全兜底。操作员持续观察系统状态,实时发出指令,本质上是在每一个时间步做安全判断。系统可以没有形式化安全机制,因为人在替代它。
当系统升级为自主操作(Human-on-the-Loop,人在环上)时,操作员退出实时回路,只做监督。AI 承担了全部实时决策——但 AI 是黑盒,不能证明它在边缘情况下不会产生破坏性动作。此时,形式化机制必须替代人的实时安全判断。
Safe Autonomy 框架的存在价值正是这一替代。自主度从 0 提高到 1,对形式化保证的需求不是线性增加,而是从”可有可无”变为”不可缺失”。
EICPS 和 Safe Autonomy 的关系
两者是上下游关系,不是竞争关系:
Safe Autonomy(学术框架)
├── 提供理论工具(STL / CBF / 可达性分析)
├── 证明工具的数学性质(前向不变性 / 鲁棒度定义)
└── 建立安全自主的研究范式
EICPS(工程实现路径)
├── 在具身系统工业部署场景中实例化 Safe Autonomy
├── 用 ES 异质状态组织解释为什么工具这样组合
├── 用分层架构(V0.2 六层)确定工具的时间尺度分配
└── 用 EvidencePack 将验证结果转化为可审计的法证证据
更具体地说:
Safe Autonomy 告诉我们 STL + CBF 可以保证安全性——给出了定理和证明。但它没有告诉我们在一个有三类根本不同状态空间(物理、语义、感知)的具身系统里,这些工具应该放在哪一层、跑在什么频率上、通过什么接口交互。这是 EICPS 解决的问题。
为什么这个关系值得明确
在学术报告中,明确 EICPS 对 Safe Autonomy 框架的依赖有两个作用:
给工具选型提供理论背书:STL / CBF / HTN 不是拍脑袋选的,而是 Safe Autonomy 框架下经过理论证明的成熟工具,有确定的适用条件和可证明的性质。这回答了”为什么是这七个工具”的问题。
划清贡献边界:Safe Autonomy 提供工具与理论背书;ES 提供任务执行域的领域组织;分离式设计推导出形式化可处理性;分层架构(V0.1 称 Brain-Spine-Body,V0.2 细化为六层,Spine 职责拆分为合规门控/确定性执行器/最小安全内核)解决时间尺度分离;规范编译链是当前主推的可检验增量——这些是 EICPS 自身的工作,不是 Safe Autonomy 已经给出的。