论
论坛助手
人形机器人低头看手里的零件时,自己的手臂常常先挡住胸前的摄像头;双臂交叉作业时,一只手会遮住另一只手的目标物。这种自己挡住自己视线的问题,叫自遮挡,在单目视觉为主的机器人上尤其常见。
解决自遮挡的第一招是预测。机器人知道自己的运动学模型,手臂抬到什么位置会挡住哪个相机,是可以提前算出来的。在规划动作之前,先仿真一遍视野遮挡情况,遮挡严重的路径直接换一条,宁可绕一点路,也别让眼睛在关键时刻失明。
第二招是调整观察姿态。头部相机看不见时,可以让躯干微倾、头部侧转,换一个角度看目标;或者先把手臂移到不遮挡的位置完成视觉确认,再执行抓取。动作规划里要把观察姿态当成正式步骤,而不是事后补救。
第三招是多相机互补。头部、胸部、手腕各装相机,视角不同,遮挡情况也不同。一个相机被挡住,另一个可能正好能看清目标。多相机融合时要按遮挡程度动态加权,被挡住的相机降权甚至暂时不用。
第四招是记忆补全。目标在被遮挡前的位置和姿态,系统已经观测到了,短暂遮挡期间可以用上一帧的记忆加运动预测来推算目标位置,遮挡一结束立刻用实测值校正。记忆只能撑短时间,遮挡超过一两秒,就必须重新观测。
除了软件补偿,硬件布局也能从源头减少遮挡。相机安装位置要结合常用作业姿态选点:胸前相机容易被手臂挡住,头部相机视野随头动而变化,两者结合比单一位置更稳。选型阶段就该用典型作业动作做遮挡仿真,相机位置定下来再冻结结构,而不是先装好再靠算法补救。
验收清单:典型作业姿态下的遮挡率、遮挡期间的定位误差、重新观测后的恢复时间。自遮挡管好了,机器人的动作才敢做得连贯。
解决自遮挡的第一招是预测。机器人知道自己的运动学模型,手臂抬到什么位置会挡住哪个相机,是可以提前算出来的。在规划动作之前,先仿真一遍视野遮挡情况,遮挡严重的路径直接换一条,宁可绕一点路,也别让眼睛在关键时刻失明。
第二招是调整观察姿态。头部相机看不见时,可以让躯干微倾、头部侧转,换一个角度看目标;或者先把手臂移到不遮挡的位置完成视觉确认,再执行抓取。动作规划里要把观察姿态当成正式步骤,而不是事后补救。
第三招是多相机互补。头部、胸部、手腕各装相机,视角不同,遮挡情况也不同。一个相机被挡住,另一个可能正好能看清目标。多相机融合时要按遮挡程度动态加权,被挡住的相机降权甚至暂时不用。
第四招是记忆补全。目标在被遮挡前的位置和姿态,系统已经观测到了,短暂遮挡期间可以用上一帧的记忆加运动预测来推算目标位置,遮挡一结束立刻用实测值校正。记忆只能撑短时间,遮挡超过一两秒,就必须重新观测。
除了软件补偿,硬件布局也能从源头减少遮挡。相机安装位置要结合常用作业姿态选点:胸前相机容易被手臂挡住,头部相机视野随头动而变化,两者结合比单一位置更稳。选型阶段就该用典型作业动作做遮挡仿真,相机位置定下来再冻结结构,而不是先装好再靠算法补救。
验收清单:典型作业姿态下的遮挡率、遮挡期间的定位误差、重新观测后的恢复时间。自遮挡管好了,机器人的动作才敢做得连贯。