机器人全书

PART 07 · CHAPTER 41

训练、评测与安全：怎样证明机器人会做

一句话理解

机器人能力需要在明确任务、明确分布和足够重复次数下，以任务成功、失败类型、干预、安全和效率共同证明。

约 2,000 字约 5 分钟9 个来源1 幅教学图

机器人演示视频是能力线索，缺少试验设计时无法成为完整证据。剪辑可以隐藏失败，固定摆放可以降低难度，人工遥操作可能被误认为自主执行。可靠评测先声明任务初态、目标条件、允许时间、是否重试、人工干预、模型版本、硬件版本和环境变化，再公布全部试验或可审计抽样。

最基础指标是成功率。若 \(n\) 次独立试验中成功 \(k\) 次，点估计为 \(\hat p=k/n\)：

\[\hat p=\frac{k}{n}\]

试验次数很少的时候，点估计极不稳定。5 次全成功和 500 次中 490 次成功都可以写成“高成功率”，证据强度差异巨大。报告应给出样本数和置信区间，并按对象、场景、操作者、光照和任务长度分层。连续轨迹还可能相关，不能把同一次运行的每一帧当成独立样本。

成功率之外至少需要五类指标。效率包括周期时间、吞吐和能耗；质量包括定位误差、抓取损伤和工艺合格率；鲁棒性包括扰动恢复和域外退化；可用性包括人工干预时间、任务设置成本和恢复步骤；安全包括碰撞、保护停机、最小间距和风险事件。商业部署还要看 uptime、平均故障间隔、平均修复时间和备件等待。

评测集要覆盖分布内、可预期变化和明确域外三圈。分布内验证基本能力；变化圈测试新物体、背景、摆放、指令和扰动；域外圈观察系统能否识别“不知道”并安全退出。域外测试的目标不一定是成功，可靠拒绝、请求帮助或退回已验证技能也可以是合格行为。把所有输入都强行执行会放大模型过度自信。

长时任务需要拆分和整体两套指标。每个技能 95% 成功，十步串联且错误相互独立时，理论完整成功率只有 \(0.95^{10}\approx59.9\%\)。现实错误还会相关，失败后恢复也会改变结果。因此要同时测单步成功、任务序列长度、首次失败位置、恢复成功率和完整任务成功率。CALVIN 用连续语言条件任务测试长时组合，BEHAVIOR-1K 关注家庭环境的长流程活动，HumanoidBench 则把全身移动与操作放到统一模拟评测中。

FIGURE 01能力证据从离线指标走向现场验收覆盖扩大风险控制加强现场重复验收独立安全通道验证集仿真基准
图 1　能力证据从离线指标走向现场验收

训练集、验证集和测试集应按真实泛化目标切分。若要证明跨场景，测试场景必须从训练中隔离；若要证明跨操作者，采集者也要隔离；若同一物体换个相机角度就进入测试集，结果可能主要反映记忆。公开 benchmark 便于比较，模拟得分与具体真实部署仍有距离。团队应保留现场测试集，并解释公开 benchmark 与目标业务的对应关系。

安全评估从危害分析开始。列出移动、夹持、坠落、热、电、网络、误识别人、失控和意外启动等危害；估计严重度、暴露和可避免性；再按优先顺序采取本质安全设计、防护措施和使用信息。安全功能应与普通 AI 策略分离到足够独立的通道，例如硬件急停、安全 PLC、速度与空间限制、力矩限制、制动和失电安全状态。模型说“停”不能取代可靠停机链路。

工业机器人安全要看机器人本体与集成应用两个层面。ISO 10218-1:2025 规定工业机器人的安全要求，ISO 10218-2:2025 面向应用与机器人单元；个人与服务机器人参考 ISO 13482 及其正在推进的第二版；ISO 9283 提供位姿准确度、重复性、路径性能等试验方法。标准规定通用要求，具体场景仍需风险评估和当地法规判断。

学习系统还需要模型专项安全。数据投毒、恶意图案、语言注入、传感器欺骗和模型更新回退都会影响物理动作。上线流程应包含签名模型、依赖与数据来源记录、离线回归、仿真压力测试、影子运行、小范围启用、可回滚和事件复盘。每次更新都要验证安全边界没有因能力提升而被绕过。

评测的终点是“知道适用边界”。一份成熟结论会写清系统在哪些条件下达到什么结果，哪些变化会退化，遇到什么信号会停止或请求帮助。这样才能把研究能力转成采购验收、操作培训和持续运维的共同语言。

深入阅读