球形机器人作为一种新型的移动机器人应用前景广阔,受硬件平台的限制,目前少有研究者能够对该新型平台的感知方案进行详尽的研究。经过比较和选择,本文在该平台上搭载移动机器人主流的传感器——毫米波雷达和视觉传感器,作为感知信息的主要来源,惯性测量单元提供位姿信息辅助数据转换到机器人本体坐标系。本文分析比较多种感知融合策略,提出适用于球形机器人的毫米波雷达和视觉传感器的特征级融合方案。主要研究的工作涉及以下三个方面:传感器的硬件搭建、毫米波雷达的目标检测及跟踪、基于雷达检测的视觉融合算法。其一,探究球形机器人结构及其带来运动特殊性,面临的具体问题为球壳的遮挡和球体的晃动。设计外置悬挂臂的机械结构,承载所需传感器,借助横臂上的惯性测量单元和云台,保证各传感器保持固定俯仰角度的稳定工作。其二,实现了球形机器人上的毫米波雷达检测跟踪方法,通过分析点云信息,利用扩展卡尔曼滤波算法对目标进行检测和跟踪。根据球形机器人平台的运动特性做适应性校正,筛除无效信息。通过实验,借助可视化工具展示算法的实时检测及跟踪效果,记录数据,通过统计数据分析验证算法的有效性。其三,实现了基于雷达信息的视觉融合算法,受启发于RCNN系列网络的优化和演进,设计使用雷达检测替代RPN网络的融合方案。根据雷达检测并跟踪得到稳定可靠的目标信息,通过前期的标定,将雷达目标中心代表点映射到图像中,按照一定规则生成候选框,作为视觉检测感兴趣的区域,针对性地进一步完成分类和边框回归。该方案天然提供的注意力机制有助于提高视觉信息处理的效率,及时发现预警信息。最后,借助候选框作为中间桥梁匹配雷达和视觉的检测,提炼和组合各传感器优势信息,给机器人后续避障提供结构化数据,并在图像中直观地框注目标的相关信息。