全景相机在水平方向视角为360°,垂直方向视角最高可达360°,可广泛应用于机器人、视频会议、监控和虚拟现实领域。作为一种视觉传感器应用于机器人领域中,可使机器人在目标识别、路径规划和避障等方面做出最优决策。由于处理量数据大、算法复杂度高且应满足便携性要求,因此,目前大部分全景相机无法实时获取无畸变的全景图像,使其在实时性要求高的领域中的应用受到限制,因此解决全景相机实时性问题已成为高校和社会研究的重点。相比于其他图像处理器现场可编程门阵列具有高速、并行、低功耗、体积小的优点,应用于全景相机中在解决实时性问题同时可显著降低设备功耗和体积。本课题开发了一款多摄像头全景相机平台,并实时计算出该平台内5幅图像间的变换矩阵,每幅图像分辨率为640×480,帧率为30帧每秒。主要分为以下几个部分。本文选用5个广角、手动调焦的CMOS摄像头,在满足全景相机功能的条件下,设计并制作了摄像头安装架,实现了对360°景物的采集。选用现场可编程门阵列对图像或视频进行处理。广角摄像头采集到的图像存在畸变在Matlab上求得每个摄像头的内部参数后,运用双线性差值算法,通过插值查找表实现现场可编程门阵列对畸变图像实时校正。采用SIFT算法提取图像特征点,BRIEF算法生成特征点描述符并通过最小汉明距离判定方法找出匹配点对。在算法方面,基于全景相机应用平台,将SIFT、BRIEF算法各部分优化整合。在实现算法方面,采用数据并行,任务并行方法,利用现场可编程门阵列并行处理特性,可实时提取匹配点对。在现场可编程门阵列端采用随机采样一致性算法提纯特征点对将迭代串行运算的随机采样一致性算法优化为并行处理,寻找出8对局内点,同时结合最小二乘法求得变换矩阵参数。最后将变换矩阵参数与校正后的图像数据传到电脑端求解坐标变换后的图像,实现图像配准与图像融合。