看见与听见：相机、深度、激光雷达、毫米波与音频

原理组成

普通相机由镜头、图像传感器、曝光与读出电路组成。镜头把三维场景投影到二维成像面，针孔模型下像素坐标与焦距、物点深度相关。焦距和传感器尺寸共同决定视场角；分辨率决定像素数量，镜头清晰度、对焦、运动模糊、噪声和动态范围决定这些像素能否携带有用信息。滚动快门逐行曝光，机器人快速转头时直线可能弯曲；全局快门同时曝光，更适合高速运动，成本与噪声表现取决于器件。

双目深度从左右图像的视差计算距离。在理想平行模型中：

\(f\) 是焦距，\(b\) 是两相机基线，\(d\) 是视差。距离增加时视差变小，同样一像素误差会造成更大的深度误差；低纹理、重复纹理、反光、透明和遮挡区会使匹配困难。结构光投射已知图案来增加纹理，适合一定室内范围；飞行时间深度相机发射调制光并测量往返时间或相位，强日光、多径和互相干扰会影响结果。深度图还要经过内参、畸变、左右外参和深度尺度标定。

激光雷达逐点或逐线发射激光，按飞行时间、相位或调频连续波原理测距。机械旋转雷达通过转动获得大视场，固态方案减少运动件并改变扫描模式。关键输出是带时间戳的点和反射强度；点数多不等于有效分辨率，角分辨率、扫描规律、测距噪声、近盲区、多回波和运动畸变共同决定点云质量。机身在一帧扫描期间运动时，点来自不同姿态，需要惯性或里程计辅助去畸变。

毫米波雷达发射电磁波并分析回波。调频连续波系统可从拍频估计距离，多普勒频移提供径向速度，多根天线的相位差估计方向。它在雾、尘、弱光下通常比可见光稳定，空间角分辨率和物体语义较弱；金属多径、地面反射和相互干扰会制造虚警。雷达很适合作为“看不清时仍能发现有物体或有速度”的互补通道。

音频链从麦克风膜片把声压变成电信号，经前置放大、模数转换和数字处理得到波形。麦克风阵列利用到达时间差估计声源方向，波束形成增强目标方向并抑制其他方向。机器人自身风扇、减速器、脚步和扬声器构成强噪声源，回声消除需要知道自身播放信号。音频适合语音、人机交互和异常声检测，无法依靠声音单独保证近距离碰撞安全。

超声传感器发射高于人耳频率的声波，按往返飞行时间估算距离，成本低，适合近距离泊靠、液位或大平面存在检测。声速随温度变化，软织物会吸声，斜面把回波反射到别处，多只传感器还可能串扰。电感式、电容式和光电接近开关更适合回答“目标是否进入某个很近的区域”；保险杠微动开关、压敏边和碰撞条则在真实接触后给出离散信号，常作为低速设备最后一层检测。它们量程短、信息少，确定的物理边界和简单诊断具有独特价值。

室外机器人还会使用全球卫星导航系统（GNSS）。接收机由多颗卫星信号估计位置和时间，开阔天空下可提供全局坐标；高楼、树冠和室内会遮挡或产生多路径，单次位置精度与短时稳定性需要区分。差分改正、载波相位与双频接收可提高精度，天线位置、地平面、电磁干扰和时间同步都会影响结果。GNSS 不直接看见近处障碍，通常与 IMU、轮速、视觉或激光共同使用。

传感器的数据链还包含模拟前端、模数转换、片内处理、缓存、接口和驱动。厂家给出的帧率只描述理想节拍，自动曝光可能让实际曝光跨越大半帧，USB 或以太网排队又增加可变延迟。对于移动机器人，一帧点云或图像中的各像素也可能来自不同时间。硬件触发、公共时钟、精确时间协议或同步脉冲用于建立共同时间基准；标定程序再求各传感器之间的空间外参。时间偏差乘以运动速度会直接变成空间偏差，例如机头以 1 rad/s 转动，20 ms 时间误差已经对应约 1.15° 方位误差。

参数与取舍

相机要看分辨率、帧率、曝光范围、动态范围、量子效率、快门方式、镜头焦距与畸变、最短对焦距离、接口带宽和端到端延迟。深度相机再看范围、基线、深度精度/重复性、无效像素比例、日光能力与多机干扰。雷达看角分辨率、点频、视场、探测概率和虚警；激光雷达还看波长、激光安全、反射率依赖与转动寿命；毫米波还看频段合规、带宽、天线孔径和径向速度分辨率。麦克风看灵敏度、信噪比、声学过载点、阵列几何与同步。

安装位置决定盲区。头部传感器视野高，随颈部运动产生大加速度和拖影；胸部稳定，手臂和所持物容易遮挡；腕部能看近场抓取，碰撞、线束和算力带宽更紧张。透明罩会引入反射、偏振、热形变与雨滴；主动深度和激光必须验证罩材透过率。传感器时间戳应对应实际曝光或测量时刻，数据到达计算机的时间不可替代采样时间。

典型失效包括镜头脏污、对焦漂移、相机外参因撞击变化、自动曝光在明暗切换时振荡、深度相机在阳光下失效、激光雷达窗上积水、雷达多径虚影、麦克风堵孔和阵列时钟不同步。传感器融合能提高覆盖，也会把错误外参和错误时间戳变成一致而隐蔽的系统偏差。

近距与卫星传感还会出现温度补偿错误、超声串扰、保险杠触点粘连、接近开关安装距离漂移、GNSS 天线进水和多路径跳点。选择时应给超声盲区、波束角、刷新率与温度范围，给接近/碰撞器件动作距离、复位行程、触发力和循环寿命，给 GNSS 更新率、可用卫星条件、改正数据链与失锁后的降级策略。安全功能若采用接触开关，还要验证断线诊断、机械卡滞和最坏触发位置。

相机选型可从最小目标反推。若要在 4 m 处辨认宽 20 mm 的电缆，目标在成像面上需要足够像素，视场角、水平像素数和镜头焦距共同决定是否看得见；运动速度与曝光时间再决定是否被拖成一团。提高分辨率会增加带宽和计算，缩短曝光会提高噪声，增大光圈会缩短景深。激光雷达也要把角分辨率换算成目标距离处的点间距，毫米波则要把天线孔径和带宽对应到角度与距离分辨能力。用“像素、线数或点频”单独排行，会遗漏任务真正需要的可辨识尺度。

环境传感器应经过分层测试。台架阶段用标定板、已知距离靶、转台、声源和角反射器测内参、噪声、非线性与时延；安装后复测遮挡、窗口反射、机械振动和热漂；场景阶段建立材料与照明矩阵，包括黑色、镜面、透明、细杆、雨雾、逆光和多人交叉。测试既记录平均误差，也统计无效输出、长尾延迟、虚警和漏检。撞击、拆装或温度循环后再做快速外参健康检查，才能防止“数据仍在发布、空间关系已经错了”的潜伏故障。

工程例子

仓库机器人可让二维激光雷达负责近地平面避障，前向双目负责托盘和人员形状，毫米波在粉尘或逆光下提供速度线索，顶端广角相机做环境语义。四路传感器无需都输出同一答案：安全停车通道可以采用独立保守阈值，主导航融合多源地图。验收要包含黑色物体、反光膜、玻璃、低太阳角、薄杆、快速横穿者和镜头部分遮挡等困难场景。

假设机器人以 1.5 m/s 行驶，感知到制动指令的端到端最坏延迟为 120 ms，仅延迟阶段就会前进 0.18 m，之后还要加物理制动距离和定位误差。由此可以反推近场传感器的有效量程、更新率与遮挡边界，并要求时间戳在整条链路可追踪。若相机在强逆光下失去目标，独立雷达或安全扫描器应维持保守检测；若外参健康检查失败，上层应降低速度或停止进入狭窄区域。传感器降级必须映射为可执行的运动边界。

深入阅读

RealSense 双目深度资料 与自标定说明 展示双目、安装冲击和标定的关系；毫米波原理与机器人入口可查 Infineon 60 GHz Radar Sensors，超声飞行时间及环境影响可读 TI Ultrasonic Sensing Basics，卫星定位的能力边界可查 GPS.gov GPS Accuracy。相机与多视几何可继续阅读 Hartley 与 Zisserman 的 *Multiple View Geometry in Computer Vision*；激光雷达应以所选器件的官方用户手册、激光安全说明与扫描时序文档为准。