多传感器融合首先要解决的是“同一时刻的世界”是否真的来自同一时刻。相机、IMU、关节编码器、力/力矩传感器的采样频率、传输延迟和调度等待都不同,如果只按接收时间戳融合,视觉帧可能对应几十毫秒前的环境,而 IMU 已经推进了多个控制周期,移动或转向时会产生明显位姿偏差。更稳妥的原理是:时间戳尽量在靠近硬件采集点生成,高频控制量以统一时钟为基准,融合前完成延迟标定、外参标定和缓冲区插值,而不是在业务算法里临时补时间差。

硬件触发适合强确定性的链路,例如立体相机左右目、多相机曝光、与关键控制周期的固定相位关系;它能减少曝光不确定度,但前提是触发线、驱动、固件和采集卡都支持,并且故障时能检测丢触发。软件同步适合无法接线、设备封闭或采样机制不同的场景,通常靠 PTP/NTP 校时、时间戳透传、消息到达延迟统计和插值对齐,但它只能把误差压到可建模范围内,不能把非实时操作系统变成确定性系统。

边界条件要先写清楚:如果机器人处于低速、静态抓取或短时间融合,软件时间戳加固定偏移可能够用;如果是奔跑、快速转向、视觉伺服、足端接触判断,就应优先硬件触发或至少让 IMU 与控制时钟同源。评估时不要只看平均时间偏差,应看 P95/P99、丢帧、时钟漂移、负载升高后的调度抖动,以及传感器重启后的时间基准是否恢复一致。落地上可以先记录采集时间戳、驱动接收时间、应用入队时间和消费时间,再通过固定动作或标定板估计相对延迟;超过融合窗口的样本应丢弃或进入降级策略,不能静默参与状态估计。AI 生成技术讨论,请结合权威文档核实。