无人机、无人车等自主系统在复杂环境中安全运行和做出运动路径的规划,需要有强大的环境感知能力,使系统能够获取机身周围的三维数据。双目立体视觉是获取真实场景三维数据的常用方法,但是立体匹配算法复杂,一般难以同时满足实时性和精度要求。全景图像可以突破相机视场大小的限制,全方位的展示出水平视野范围内的所有事物,结合头戴显示器可以得到临场感和沉浸感强烈的视觉体验。FPGA因其丰富的逻辑资源和特殊的硬件结构,能够实现数据流水线处理和算法并行运行,在很多场景下用于实现算法的硬件加速。赛灵思的Zynq平台So C把多核ARM处理器和大容量FPGA封装在一起,融合了CPU的通用计算能力和FPGA的可拓展性,可以运行多种嵌入式操作系统,使Zynq平台非常适合应用在嵌入式视觉系统中。本文设计了基于Zynq平台的全向双目视觉系统,通过不同朝向的4组双目相机完成了水平方向上的全向双目图像采集,实现全向三维数据获取与融合和全景图像拼接的功能。本文通过相机成像原理,详细分析三维数据采集过程涉及的多种坐标系及其转换关系,使用球坐标系代替直角坐标系存储三维数据。提出基于Pn P的直接测量法,完成了多组双目相机之间相对位置的标定。本文基于FPGA的硬件特性对立体匹配算法和全景图像算法进行改进,令算法适合使用FPGA进行硬件加速。本文在SGM算法的基础上设计立体匹配算法,使用Gradient SAD-Census匹配代价,根据FPGA流水线处理方向把代价聚合的优化路径减少为4条,使用WTA算法计算视差,最后使用并行排序实现中值滤波来完成视差图优化。全景图像生成算法分为离线标定和实时处理两个阶段。离线标定阶段在PC端基于SIFT特征点得到图像配准数据,结合最佳缝合线算法和线性加权法生成图像掩码。实时处理阶段在Zynq平台上完成基于柱面投影模型的图像投影变换后,利用离线标定得到的数据实现全景图像的实时生成。本文基于HLS完成图像算法的设计,通过优化指令优化算法的运行方式和减少FPGA资源消耗,实现图像算法的硬件加速。通过仿真验证HLS工程的正确性后,将其导出为图像算法IP模块。在Vivado开发平台下完成系统的硬件电路工程设计,使用HLS工程导出的图像算法IP模块,实现了4路双目图像采集、立体匹配和生成全景图像的全向视觉系统。最后,在实际使用场景中对本文设计的全向视觉系统进行实验评估。实验结果表明,本文设计的全向视觉系统实时性高,算法加速效果明显,测量精度和测量范围可以满足要求,适用于无人机、无人小车等自主系统的嵌入式视觉应用场景。