机器人全书

PART 07 · CHAPTER 40

跨本体学习、仿真与 Sim-to-Real

一句话理解

跨本体学习尝试让不同身体共享知识，Sim to Real 尝试让仿真中学到的策略在现实中仍然成立，两者都要解决“接口与分布不一致”。

约 2,175 字约 5 分钟6 个来源1 幅教学图

本体（embodiment）包括机器人结构、自由度、传感器布局、执行器能力、末端工具和控制接口。同一句“把杯子放进水槽”，在固定机械臂、轮式双臂和人形机器人上有不同的可达空间和动作路径。跨本体学习希望共享对象语义、任务结构、视觉表示或动作规律，减少每换一种机器人就从零收集数据的成本。

Open X-Embodiment 将多个机构贡献的数据统一到一个集合，并训练 RT-X 模型。它证明多机器人数据可以带来正迁移，也揭示了标准化的困难：不同相机视角、动作维度、控制频率、坐标系和任务语言要被映射到共同格式。动作空间常用末端位姿增量、归一化关节动作、关键点轨迹或离散技能作为中间表示。越抽象的表示越容易跨身体共享，越难保留精细接触；越接近电机的表示越准确，身体依赖越强。

跨本体迁移通常分四层。视觉与语言层共享对象和任务知识；任务层共享子目标序列；技能层把“抓、放、推、开”等能力参数化；控制层根据具体机器人的运动学和动力学执行。新身体只要对齐部分层，就可以复用上层能力。若两台机器人末端结构差异很大，例如吸盘与五指手，同名“抓取”对应的接触机制并不相同，技能层也需要重新学习。

仿真为跨本体提供可控实验场。MuJoCo、Isaac Sim/Isaac Lab、Drake 等工具分别强调快速接触动力学、大规模并行学习与高保真渲染、模型化系统与优化。选择仿真器应从任务需要出发：步态训练关心并行速度、接触和执行器模型；视觉策略关心材质、相机和传感器；系统验收还需要软件在环（SIL）与硬件在环（HIL）。同一项目也可以用多个仿真器，但模型资产、坐标和测试定义必须保持一致。

Sim-to-Real 的差距来自模型误差与观测误差。动力学方面包括质量、摩擦、齿隙、柔顺、温升和电池电压；感知方面包括噪声、曝光、运动模糊、相机时延和外参漂移；环境方面包括物体尺寸、材质、摆放和人的介入。域随机化在训练中对这些参数采样，让策略适应一个分布：

\[\xi\sim p(\xi),\qquad \pi^*=\arg\max_\pi\mathbb{E}_{\xi,\tau\sim\pi}\left[R(\tau;\xi)\right]\]

随机范围过窄无法覆盖现实，过宽会让任务变得模糊并损失性能。范围应由实机测量和系统辨识驱动，例如称量连杆、记录关节响应、估计摩擦和传感器噪声，再在不确定区间内随机化。OpenAI 的灵巧手研究展示了通过大规模动力学与视觉随机化把仿真策略迁移到真实手；它也说明接触丰富任务需要广泛随机化和强大的训练资源。

FIGURE 01从多种身体与仿真域迁移到一台真实机器人接口核对—实机校准—分层验证动作接口真实校准测量控制环境
图 1　从多种身体与仿真域迁移到一台真实机器人

另一条路线是系统辨识与仿真校准：用实机输入输出拟合参数，使仿真更接近目标硬件。还可以使用教师—学生学习，让拥有仿真完整状态的教师产生策略，再训练只使用真实可得观察的学生。在线适应则让策略根据最近历史估计环境或执行器参数。各方法可以组合，但应保留一组从未参与校准的真实测试，避免“把测试现场调进仿真”。

跨本体与 Sim-to-Real 的失败往往隐藏在接口。训练动作是 20 Hz 末端增量，部署控制器却在 30 Hz 解释为绝对位姿；训练图像在动作发出前采集，实机日志却在动作后对齐；仿真关节限位和实机固件不同。迁移前应逐项核对观察定义、归一化、坐标、单位、频率、滤波、动作保持和终止条件，并先做开环回放与影子模式。

迁移能力也要按层验证。可以先验证视觉表示是否识别新相机与新背景，再验证规划输出是否可达，再验证低速动作，最后验证完整任务。若只看最终成功率，很难区分视觉失败、动作映射错误和控制不稳。对跨本体模型，还应报告每种身体单独训练的基线、共同训练后的变化，以及新身体使用了多少适配数据。

跨本体共同训练也可能产生负迁移。高负载工业臂、低成本桌面臂和双足人形的动作噪声、速度与可达空间不同，模型若缺少身体描述，可能把一类机器人的动作习惯错误套到另一类。输入可以加入关节拓扑、末端类型、动作范围和相机参数，训练采样也要防止数据量最大的身体支配梯度。结果报告应逐身体展示提升与退化，不能只给总体平均。

迁移到实机前可做三项低风险检查。第一，用实机日志驱动仿真或策略离线回放，核对观察和动作数值范围；第二，在机器人断使能或影子模式下运行策略，观察输出频率、越界和抖动；第三，悬空或低速执行单关节与简单末端动作，核对方向、比例和延迟。三项通过后再增加接触、负载与环境变化，能把接口错误挡在高风险试验之前。

深入阅读