论文部分内容阅读
摘要： 双目视觉通过模仿人类视觉来获得物体的深度信息，使机器具有从二维图像认知三维环境的能力。针对特定应用场合，建立一种自主设计的反光标志点，通过被动式反射光源发出的光来进行定位。基于双目视觉原理搭建试验平台，分析了系统硬件各组成部分技术特点，通过对系统硬件的特殊设计很好地解决了复杂背景对目标物识别定位的干扰。最后通过距离和角度测量试验，验证系统的精度。
关键词： 双目视觉； 视差； 三维坐标； 硬件系统
中图分类号： TN 29文献标志码： Adoi： 10.3969/j.issn.10055630.2015.02.015
Hardware design of marker positioning system based on binocular vision
WANG Ligang， MA Guoxin， XIANG Peng
（Institute of Industry Technology， Guangzhou & Chinese Academy of Sciences， Guangzhou 511458， China）
Abstract： The binocular vision directly simulates the manner of human eyes observing one scene from different viewpoints to obtain the depth information of object. This system is for a particular application. The objects positioned by this system are markers which can reflect the light radiated by the light source， so they can be located by the passive reflection. The experiment platform is set up based on the principle of the binocular vision. The hardware components technology is analyzed. The system can find a good solution to the influence of complex background on recognition and localization of the markers. At last， experiments are conducted， which contain the distance and the angle measurements. The results demonstrate that the accuracy of the system is good.
Keywords： binocular vision； disparity； threedimensional coordinate； hardware system
引言立体视觉是计算机视觉领域的一个重要分支。双目立体视觉通过模拟人类双眼机制，利用两台摄像机从不同位置观察同一目标，获得不同视角下的一组目标图像，基于视差原理计算目标图像对应点间的位置偏差，以此来获取目标物体的三维信息[1]。目前立体视觉在机器人视觉、航空测绘、军事应用、医学诊断及工业检测中应用越来越广泛[2]。一个完整的立体视觉系统通常分为图像获取、摄像机标定、图像预处理、特征匹配及三维重建这五大部分。目前大多数研究集中在摄像机标定[34]、特征匹配[56]及精度分析[7]等方面，而在如何利用硬件设计优化图像获取方面文献较少。因此本文重点研究双目视觉系统中图像获取这一步，通过特殊的硬件设计来优化获取到的图像，为后续图像处理带来便利。光学仪器第37卷
第2期王立钢，等：基于双目视觉的标志点定位系统硬件设计
图1平行式摄像模式和汇聚式摄像模式
Fig.1Binocular parallel system and
binocular convergent system
图2汇聚式结构模型原理图
Fig.2Schematic diagram of binocular
convergent system
1双目视觉系统工作原理常见的双目视觉系统主要有两种模式：平行式摄像模式和汇聚式摄像模式，如图1所示。平行式摄像模式即两个CCD摄像机按光轴平行安装，该种模式便于标定且计算简单，但是对于视场较小的摄像机，若测量空间视场要求较大则很难满足测量要求。而汇聚式摄像模式由于两光轴成一定角度进行安装，使光轴同时汇聚于目标物体，因此可以通过适当调整两光轴夹角来满足测量的视场要求。由于本系统测量要求的视场范围较大，若采取平行式摄像模式则需要大视场摄像机，而视场角大的摄像机获得的图像畸变也较大，不利于提高系统精度[8]，因此本系统采用汇聚式摄像模式，其结构原理图如图2所示。图中O1C1与O2C2为左右摄像机的光轴，夹角为2θ，两摄像机光心间距为B，为简化计算，假设两摄像机关于YOZ平面绝对对称，P点为物点，P1、P2分别为P点在左右摄像机上的像点。坐标系XOZ中，假设P点的世界坐标为（X，Z），其像点P1、P2的世界坐标分别为（X1，Z1）、（X2，Z2），其在图像物理坐标系中XOZ平面上的坐标为（x1，0）、（x2，0）。若两摄像机焦距均为f，则根据小孔成像原理及几何关系可得X1=-B/2-fsinθ+x1cosθ（1）
Z1=-fcosθ-x1sinθ（2） X2=B/2+fsinθ+x2cosθ（3）
Z2=-fcosθ+x2sinθ（4）由于P1C1与P2C2的交点为P，因此通过联立直线P1C1与P2C2的方程便可求得Z=B[f2cos2θ+12（x1-x2）fsin2θ-x1x2sin2θ]f2sin2θ-（x1-x2）fcos2θ+x1x2sin2θ（5）图3双目视觉系统组成及工作流程
Fig.3The workflow of binocular vision system2双目视觉系统组成一个完整的基于双目视觉的目标定位系统主要包括硬件和软件两大部分，系统的工作流程如图3所示，主要包括图像采集、摄像机标定、图像预处理、特征匹配及三维重建。其中图像采集这一环节主要由系统的硬件部分来完成，摄像机标定、图像预处理、图像匹配及三维重建主要由系统的软件部分来完成。而本文的重点便是系统的硬件部分设计。3系统硬件设计系统硬件部分主要由反光标志点、试验台架、摄像机、照明光源几个部分组成，整体硬件实物如图4所示。
3.1反光标志点反光标志点即为本系统需要定位及跟踪的目标。标志点反射光源打在其上的光，反射光被镜头接收后来进行定位。文献[6，9]中均使用一种主动发光的LED标志点，与其相比本系统采用的标志点为被动式反光的无源器件，无需接线，因此使用方便且更加可靠。标志点的外观及光路如图5所示，标志点为自主设计加工，尺寸很小，高度、直径均只有10 mm。应用时可以将多个标志点镶嵌在运动的刚体上，通过对标志点的定位来确定刚体的三维信息。
图4双目视觉系统硬件实物图
Fig.4The photo of binocular vision
hardware system图5标志点实物图及光路原理图
Fig.5The photo and the optical
configuration of the marker
该反光标志点的光路特点为，当入射光线进入标志点后，经过透镜折射聚光之后光线入射到一块镀有高反射膜的透镜上，反射后的光线与入射光线基本重合，即光线进入该反光标志点后会按原路被反射回去。反光标志点的入射角度范围设计值为0°～90°，由于加工精度的影响，实际工作中入射角在0°～70°时定位精度比较高。
3.2摄像机及试验台架系统采用两台型号参数一致的高分辨率低畸变CCD摄像机，安装在自制的试验台架上，通过调节试验台架，两台摄像机之间的间距、夹角及高度可以任意调节以满足不同的工作距离及有效视场范围的要求。测量误差与两镜头光轴夹角及基线距离间存在复杂的函数关系，在满足工作距离及有效视场的前提下，系统误差随基线距增大而减小，且当基线与光轴的夹角在55°～70°之间取值时，平均综合测量误差达到最小值[5]。同时镜头配有中心波长为635 nm（±10 nm）的窄带滤光片保证其他波段的光可以被有效滤除。
图6系统获取的标志点图像
Fig.6The photo of the markers
obtained by the system3.3照明光源系统采用635～645 nm波段的红光LED点光源作为照明光源，通过一块半透半反射镜使点光源主光轴与镜头主光轴重合，这种同轴光照明方式的优点是照明亮度非常均匀，且与反光标志点配合使用时，由于标志点可以将光按原路反射回镜头，而其他背景部分的反射光则很难反射回镜头，因此标志点会出现高亮而其他部分则较暗。同时由于镜头安装了窄带滤光片，只有635 nm±10 nm波长的红光可以通过镜头，因此能进一步消除背景杂光的干扰。系统的硬件部分主要负责图像获取这步工作，图6为实际工作时本系统获取到的图像，从图中可以看出，除了几个反光标志点为高亮之外，其他部分的光线非常暗。硬件这样设计的好处是为后续的软件处理提供了很大的方便，图像处理时只需简单的算法便可准确提取标志点的中心。图7试验用测试板
Fig.7The test board for the experiment4实验与数据分析为验证本系统硬件设计的准确性及系统精度，设计一组关于距离及角度的测量试验。设计并加工了两块测试板如图7所示，测试板1上面排布6×4个孔洞，反光标志点直接嵌入孔洞中，每相邻两个孔洞的中心间距均为24 mm，该测试板用来测试两标志点间距。测试板2上面有三条凹槽，两条凹槽之间的夹角为固定值，该测试板用来测试标志点旋转角度。
4.1距离测量试验距离测量实验具体做法是在测试板1上直接排布3×3个标志点，每相邻两个孔洞的中心间距均为24 mm。用本系统定位得到每个标志点三维坐标，如表1所示，进而根据三维坐标计算得到两点间距离。
表19个标志点的三维坐标
Tab.1Threedimensional coordinates of markers
标志点123456789坐标值x-1.075 9-24.963 8-49.040 3-0.265 7-24.091 5-47.908 51.011 5-22.811 4-46.640 0y-52.707 9-51.465 4-50.064 7-28.711 8-27.444 1-26.221 7-4.698 1-3.398 4-2.343 9z738.107 6737.760 3737.937 5738.688 1738.539 4738.772 6739.265 8738.517 1739.452 0
表2距离测量试验数据
Tab.2Results of distance measurement experiments
类别最大值最小值平均值绝对误差/mm0.520 80.002 30.093 6相对误差/%2.170.010.39测量值/mm24.217 823.479 223.906 4 图8测试板固定角度旋转示意图
Fig.8The test board at a fixed angle
表3角度测量试验数据
Tab.3Results of angle measurement experiments
类别最大值最小值平均值绝对误差/（°）0.780.060.36相对误差/%2.60.21.2测量值/（°）29.9429.2229.64
距离测量试验总计50组，每组各有12个24 mm点间距，共计600个24 mm点间距。测量数据统计如表2所示。
4.2角度测量试验测量实验具体做法是在测试板1上排布两个点，两点连线只要不与世界坐标系Y轴平行即可。如图8所示测试版在测量视场范围内拍摄一次，计算出两标志点三维坐标，然后按测试板2上的凹槽将板1旋转一个已知角度（30°）再拍摄一次，同样计算出旋转后两标志点的三维坐标。根据这两组坐标值可以计算出两点连线的旋转角度值，同样在测量视场范围内任意位置做50组实验，测量数据统计如表3所示。由表2、表3可以看出系统在测量两点间距时精度较高，误差只有0.1 mm左右，但对于旋转角度的测量误差则较大，平均值在0.36°左右。造成角度测量误差较大的原因主要有两点：其一为测试板加工精度不够带来的误差；其二为当测试板旋转后，进入反光标志点的入射光入射角度发生变化，由于标志点在入射范围0°～70°时精度较高，超过70°后入射角越大其精度越差。5结论本文详细阐述双目视觉系统硬件各部分实现方式，与现有双目视觉系统相比，通过设计反光标志点并与窄带滤光片、同轴光照明模式配合使用，在硬件上便很好地优化了获取到的图像。本文实验验证过程也具有一定的创新性，现有文章的实验过程大多只考虑到距离测量的精度[910]，而本文增加了旋转角度的测量，更好地验证了系统的准确度及可靠性。后续可以通过优化反光标志点设计在硬件方面进一步提高系统精度。参考文献：
[1]马颂德，张正友.计算机视觉[M].北京：科学出版社，1998：7273.
[2]游素亚，徐光祐.立体视觉研究的现状与进展[J].中国图象图形学报，1997，2（1）：1724.
[3]刘晓利，田媛，童飞，等.双目立体视觉的光学标定技术[J].光学仪器，2013，35（3）：1115.
[4]李中伟，王从军，史玉升.3D测量系统中的高精度摄像机标定算法[J].光电工程，2008，35（4）：5863.
[5]刘瑜，刘缠牢，苏海.一种基于结构光双目视觉的特征匹配算法研究[J].光学仪器，2014，36（2）：161166.
[6]魏振忠，高明，张广军.光笔视觉三维测量中光斑图像点立体匹配方法[J].光电工程，2009，36（8）：4549.
[7]肖志涛，张文寅，耿磊，等.双目视觉系统测量精度分析[J].光电工程，2014，41（2）：611.
[8]常铭，李亮，陈志强.CT扫描中的汇聚式双目立体视觉系统参数研究[J].中国体视学与图像分析，2011，16（1）：8995.
[9]解则晓，孙洪磊，王晓敏.光笔式双摄像机三维坐标视觉测量系统[J].光学技术，2012，38（4）：459464.
[10]ZHU S P，GAO Y.Noncontact 3D coordinate measurement of crosscutting feature points on the surface of a largescale workpiece based on machine vision method[J].IEEE Transactions on Instrumentation and Measurement，2010，59（7）：18741887.
（编辑：刘铁英）
关键词： 双目视觉； 视差； 三维坐标； 硬件系统
中图分类号： TN 29文献标志码： Adoi： 10.3969/j.issn.10055630.2015.02.015
Hardware design of marker positioning system based on binocular vision
WANG Ligang， MA Guoxin， XIANG Peng
（Institute of Industry Technology， Guangzhou & Chinese Academy of Sciences， Guangzhou 511458， China）
Abstract： The binocular vision directly simulates the manner of human eyes observing one scene from different viewpoints to obtain the depth information of object. This system is for a particular application. The objects positioned by this system are markers which can reflect the light radiated by the light source， so they can be located by the passive reflection. The experiment platform is set up based on the principle of the binocular vision. The hardware components technology is analyzed. The system can find a good solution to the influence of complex background on recognition and localization of the markers. At last， experiments are conducted， which contain the distance and the angle measurements. The results demonstrate that the accuracy of the system is good.
Keywords： binocular vision； disparity； threedimensional coordinate； hardware system
引言立体视觉是计算机视觉领域的一个重要分支。双目立体视觉通过模拟人类双眼机制，利用两台摄像机从不同位置观察同一目标，获得不同视角下的一组目标图像，基于视差原理计算目标图像对应点间的位置偏差，以此来获取目标物体的三维信息[1]。目前立体视觉在机器人视觉、航空测绘、军事应用、医学诊断及工业检测中应用越来越广泛[2]。一个完整的立体视觉系统通常分为图像获取、摄像机标定、图像预处理、特征匹配及三维重建这五大部分。目前大多数研究集中在摄像机标定[34]、特征匹配[56]及精度分析[7]等方面，而在如何利用硬件设计优化图像获取方面文献较少。因此本文重点研究双目视觉系统中图像获取这一步，通过特殊的硬件设计来优化获取到的图像，为后续图像处理带来便利。光学仪器第37卷
第2期王立钢，等：基于双目视觉的标志点定位系统硬件设计
图1平行式摄像模式和汇聚式摄像模式
Fig.1Binocular parallel system and
binocular convergent system
图2汇聚式结构模型原理图
Fig.2Schematic diagram of binocular
convergent system
1双目视觉系统工作原理常见的双目视觉系统主要有两种模式：平行式摄像模式和汇聚式摄像模式，如图1所示。平行式摄像模式即两个CCD摄像机按光轴平行安装，该种模式便于标定且计算简单，但是对于视场较小的摄像机，若测量空间视场要求较大则很难满足测量要求。而汇聚式摄像模式由于两光轴成一定角度进行安装，使光轴同时汇聚于目标物体，因此可以通过适当调整两光轴夹角来满足测量的视场要求。由于本系统测量要求的视场范围较大，若采取平行式摄像模式则需要大视场摄像机，而视场角大的摄像机获得的图像畸变也较大，不利于提高系统精度[8]，因此本系统采用汇聚式摄像模式，其结构原理图如图2所示。图中O1C1与O2C2为左右摄像机的光轴，夹角为2θ，两摄像机光心间距为B，为简化计算，假设两摄像机关于YOZ平面绝对对称，P点为物点，P1、P2分别为P点在左右摄像机上的像点。坐标系XOZ中，假设P点的世界坐标为（X，Z），其像点P1、P2的世界坐标分别为（X1，Z1）、（X2，Z2），其在图像物理坐标系中XOZ平面上的坐标为（x1，0）、（x2，0）。若两摄像机焦距均为f，则根据小孔成像原理及几何关系可得X1=-B/2-fsinθ+x1cosθ（1）
Z1=-fcosθ-x1sinθ（2） X2=B/2+fsinθ+x2cosθ（3）
Z2=-fcosθ+x2sinθ（4）由于P1C1与P2C2的交点为P，因此通过联立直线P1C1与P2C2的方程便可求得Z=B[f2cos2θ+12（x1-x2）fsin2θ-x1x2sin2θ]f2sin2θ-（x1-x2）fcos2θ+x1x2sin2θ（5）图3双目视觉系统组成及工作流程
Fig.3The workflow of binocular vision system2双目视觉系统组成一个完整的基于双目视觉的目标定位系统主要包括硬件和软件两大部分，系统的工作流程如图3所示，主要包括图像采集、摄像机标定、图像预处理、特征匹配及三维重建。其中图像采集这一环节主要由系统的硬件部分来完成，摄像机标定、图像预处理、图像匹配及三维重建主要由系统的软件部分来完成。而本文的重点便是系统的硬件部分设计。3系统硬件设计系统硬件部分主要由反光标志点、试验台架、摄像机、照明光源几个部分组成，整体硬件实物如图4所示。
3.1反光标志点反光标志点即为本系统需要定位及跟踪的目标。标志点反射光源打在其上的光，反射光被镜头接收后来进行定位。文献[6，9]中均使用一种主动发光的LED标志点，与其相比本系统采用的标志点为被动式反光的无源器件，无需接线，因此使用方便且更加可靠。标志点的外观及光路如图5所示，标志点为自主设计加工，尺寸很小，高度、直径均只有10 mm。应用时可以将多个标志点镶嵌在运动的刚体上，通过对标志点的定位来确定刚体的三维信息。
图4双目视觉系统硬件实物图
Fig.4The photo of binocular vision
hardware system图5标志点实物图及光路原理图
Fig.5The photo and the optical
configuration of the marker
该反光标志点的光路特点为，当入射光线进入标志点后，经过透镜折射聚光之后光线入射到一块镀有高反射膜的透镜上，反射后的光线与入射光线基本重合，即光线进入该反光标志点后会按原路被反射回去。反光标志点的入射角度范围设计值为0°～90°，由于加工精度的影响，实际工作中入射角在0°～70°时定位精度比较高。
3.2摄像机及试验台架系统采用两台型号参数一致的高分辨率低畸变CCD摄像机，安装在自制的试验台架上，通过调节试验台架，两台摄像机之间的间距、夹角及高度可以任意调节以满足不同的工作距离及有效视场范围的要求。测量误差与两镜头光轴夹角及基线距离间存在复杂的函数关系，在满足工作距离及有效视场的前提下，系统误差随基线距增大而减小，且当基线与光轴的夹角在55°～70°之间取值时，平均综合测量误差达到最小值[5]。同时镜头配有中心波长为635 nm（±10 nm）的窄带滤光片保证其他波段的光可以被有效滤除。
图6系统获取的标志点图像
Fig.6The photo of the markers
obtained by the system3.3照明光源系统采用635～645 nm波段的红光LED点光源作为照明光源，通过一块半透半反射镜使点光源主光轴与镜头主光轴重合，这种同轴光照明方式的优点是照明亮度非常均匀，且与反光标志点配合使用时，由于标志点可以将光按原路反射回镜头，而其他背景部分的反射光则很难反射回镜头，因此标志点会出现高亮而其他部分则较暗。同时由于镜头安装了窄带滤光片，只有635 nm±10 nm波长的红光可以通过镜头，因此能进一步消除背景杂光的干扰。系统的硬件部分主要负责图像获取这步工作，图6为实际工作时本系统获取到的图像，从图中可以看出，除了几个反光标志点为高亮之外，其他部分的光线非常暗。硬件这样设计的好处是为后续的软件处理提供了很大的方便，图像处理时只需简单的算法便可准确提取标志点的中心。图7试验用测试板
Fig.7The test board for the experiment4实验与数据分析为验证本系统硬件设计的准确性及系统精度，设计一组关于距离及角度的测量试验。设计并加工了两块测试板如图7所示，测试板1上面排布6×4个孔洞，反光标志点直接嵌入孔洞中，每相邻两个孔洞的中心间距均为24 mm，该测试板用来测试两标志点间距。测试板2上面有三条凹槽，两条凹槽之间的夹角为固定值，该测试板用来测试标志点旋转角度。
4.1距离测量试验距离测量实验具体做法是在测试板1上直接排布3×3个标志点，每相邻两个孔洞的中心间距均为24 mm。用本系统定位得到每个标志点三维坐标，如表1所示，进而根据三维坐标计算得到两点间距离。
表19个标志点的三维坐标
Tab.1Threedimensional coordinates of markers
标志点123456789坐标值x-1.075 9-24.963 8-49.040 3-0.265 7-24.091 5-47.908 51.011 5-22.811 4-46.640 0y-52.707 9-51.465 4-50.064 7-28.711 8-27.444 1-26.221 7-4.698 1-3.398 4-2.343 9z738.107 6737.760 3737.937 5738.688 1738.539 4738.772 6739.265 8738.517 1739.452 0
表2距离测量试验数据
Tab.2Results of distance measurement experiments
类别最大值最小值平均值绝对误差/mm0.520 80.002 30.093 6相对误差/%2.170.010.39测量值/mm24.217 823.479 223.906 4 图8测试板固定角度旋转示意图
Fig.8The test board at a fixed angle
表3角度测量试验数据
Tab.3Results of angle measurement experiments
类别最大值最小值平均值绝对误差/（°）0.780.060.36相对误差/%2.60.21.2测量值/（°）29.9429.2229.64
距离测量试验总计50组，每组各有12个24 mm点间距，共计600个24 mm点间距。测量数据统计如表2所示。
4.2角度测量试验测量实验具体做法是在测试板1上排布两个点，两点连线只要不与世界坐标系Y轴平行即可。如图8所示测试版在测量视场范围内拍摄一次，计算出两标志点三维坐标，然后按测试板2上的凹槽将板1旋转一个已知角度（30°）再拍摄一次，同样计算出旋转后两标志点的三维坐标。根据这两组坐标值可以计算出两点连线的旋转角度值，同样在测量视场范围内任意位置做50组实验，测量数据统计如表3所示。由表2、表3可以看出系统在测量两点间距时精度较高，误差只有0.1 mm左右，但对于旋转角度的测量误差则较大，平均值在0.36°左右。造成角度测量误差较大的原因主要有两点：其一为测试板加工精度不够带来的误差；其二为当测试板旋转后，进入反光标志点的入射光入射角度发生变化，由于标志点在入射范围0°～70°时精度较高，超过70°后入射角越大其精度越差。5结论本文详细阐述双目视觉系统硬件各部分实现方式，与现有双目视觉系统相比，通过设计反光标志点并与窄带滤光片、同轴光照明模式配合使用，在硬件上便很好地优化了获取到的图像。本文实验验证过程也具有一定的创新性，现有文章的实验过程大多只考虑到距离测量的精度[910]，而本文增加了旋转角度的测量，更好地验证了系统的准确度及可靠性。后续可以通过优化反光标志点设计在硬件方面进一步提高系统精度。参考文献：
[1]马颂德，张正友.计算机视觉[M].北京：科学出版社，1998：7273.
[2]游素亚，徐光祐.立体视觉研究的现状与进展[J].中国图象图形学报，1997，2（1）：1724.
[3]刘晓利，田媛，童飞，等.双目立体视觉的光学标定技术[J].光学仪器，2013，35（3）：1115.
[4]李中伟，王从军，史玉升.3D测量系统中的高精度摄像机标定算法[J].光电工程，2008，35（4）：5863.
[5]刘瑜，刘缠牢，苏海.一种基于结构光双目视觉的特征匹配算法研究[J].光学仪器，2014，36（2）：161166.
[6]魏振忠，高明，张广军.光笔视觉三维测量中光斑图像点立体匹配方法[J].光电工程，2009，36（8）：4549.
[7]肖志涛，张文寅，耿磊，等.双目视觉系统测量精度分析[J].光电工程，2014，41（2）：611.
[8]常铭，李亮，陈志强.CT扫描中的汇聚式双目立体视觉系统参数研究[J].中国体视学与图像分析，2011，16（1）：8995.
[9]解则晓，孙洪磊，王晓敏.光笔式双摄像机三维坐标视觉测量系统[J].光学技术，2012，38（4）：459464.
[10]ZHU S P，GAO Y.Noncontact 3D coordinate measurement of crosscutting feature points on the surface of a largescale workpiece based on machine vision method[J].IEEE Transactions on Instrumentation and Measurement，2010，59（7）：18741887.
（编辑：刘铁英）