论文部分内容阅读
摘 要：本文基于专利数据，对基于双目视觉的三维重建方法的国内外研究现状进行了分析，得到了基于双目视觉的三维重建领域技术走向，并对该领域的产业发展趋势的预测，有助于相关领域的研究人员全面把握该领域的专利数据和发展状况。
1 前言
20实际80年代初，MIT人工智能实验室的Marr教授创立了计算机视觉的理论体系，为人们从二维图像中认识三维世界，打开了一扇崭新的大门。近三十年来，计算机视觉领域获得了长足的发展，其理论基础在不断完善，其应用价值仍有巨大的发掘空间。
我们所认识和生活的客观世界的空间是三维的，在很多应用领域我们需要对三维物体进行认知和分析，因此需要对物体的三维重建，即利用计算机或其它软硬件技术对物体建立适合计算机表达的数学模型，以便在计算机中对物体进行计算、操作和分析。在该领域中，基于双目视觉的三维重建技术是近年来的研究热点。本综述聚焦基于双目视觉的三维重建方法中的关键技术，从专利的角度进行相关分析，对相关行业的发展方向进行预测。
2 国内外重要申请人及其典型专利
对于基于双目视觉的三维重建中的两项关键技术相机标定和立体匹配而言，其来华重要申请人的申请量排名中，国内重要申请人为以浙江大学、清华大学、北京航空航天大学为代表的高等院校。
以浙江大学为例，其申请量不但位居国内申请人前列，且其相关申请的授权率也高达70%以上。以申请号201210360976.0的专利申请为例，其申请人为CAD&CG国家重点实验室主任博导鲍虎军教授，且伴随有相关的国际论文发表，该专利已在2014年获得授权，可以认定为浙江大学在该领域内的关键技术。该申请公开了一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法。它利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图；对于多目视频的每一帧图像计算动态概率图，利用动态概率图对每帧图像进行动态像素点和静态像素点的划分，利用不同的优化方法进行时空一致性的深度优化，对于静态点，利用bundle optimization方法结合多个相邻时刻的颜色和几何一致性约束进行优化；对于动态点，统计多个相邻时刻的多目摄像机之间对应像素点的颜色和几何一致性约束信息，对每一时刻动态深度值进行时空一致性优化。其中该申请所涉及到的基于局部的立体匹配技术属于该领域中的关键技术分支。
而在全球范围内，专利申请量占据主导地位的依旧是索尼、三星、佳能等大公司。以三星公司为例，其申请号为KR10-2007-0115960的申请提出了激光视觉系统的自动标定方法，系统在进行自动定标前输入一个预设的运动路径，在运动的过程中通过拍摄的图像以及预设的运动参数，系统可以自动的为激光视觉系统进行定标，而不需要人工的干预。该方法尽管并不是应用于以相机为硬件的双目视觉系统，而是激光视觉系统，但在两个应用场景中都存在相似的定标方法，即属于相机定标的二级技术分支中的基于主动视觉的相机标定法。值得一提的是，三星公司与浙江大学的鲍虎军教授团队已经全面开展了技术合作，目前在我国已有四项专利申请（申请号分别为201210286784、201210464952、201310197100、201310197108），并已处于实审生效阶段。由此可见，国内学术界已开始注重与国际知名公司的紧密合作，也表明学术界和工业界都较为看好立体视觉技术的前景。
3 基于双目视觉的三维重建领域技术走向
通过笔者近年来对基于双目视觉的三维重建领域的专利分析，对于该领域技术的发展方向做出如下预测：
（1）立体视觉的计算理论和匹配策略研究。如何选择有效的匹配准则和算法结构，以解决几何畸变（透视、缩放、旋转等）、灰度失真、噪声干扰、特殊结构（平坦区域、重复相似结构等）及遮挡景物的匹配问题。如何提高算法的鲁棒性、实时性、去歧义性等。
（2）双目立体视觉系统的智能化研究。如何建立基于知识、模型和规则的立体视觉方法。计算机视觉与机器学习两个领域的技术交叉，也是近期的研究热点之一。
（3）算法硬件实现研究。如何提高算法的速度，减少运算量，如何使算法朝并行化方向发展以便釆用并行流水线机制和专用的信号处理器件（如GPU）进行算法的硬件实现，以满足各类实时应用的需求。
（4）进一步重视深度相机作为三维重建设备的应用，解决使用彩色相机的方法鲁棒性较低且难以处理缺少纹理及存在遮挡的情况。
4 产业发展趋势的预测
結合对于基于双目视觉的三维重建的关键技术的专利分析和笔者本人的思考，对本领域的产业发展，特别是国内企业的发展方向给出如下建议：
（1）根据专利申请人的分布数据来看，国内高等院校、科研院所的研究相当活跃，与世界先进水平的差距正在逐渐缩小。以清华大学、浙江大学、北京航空航天大学为代表的高等院校，一定程度上代表了双目立体视觉领域的世界先进水平。相比之下，国内高校和企业在研发力量、将科研成果转化为经济效益方面的作为还远远不足。企业与高校的强强联合，发挥出各自开发和科研实力，是尽快抢占国内市场、改变美日韩企业在华独大的现状的出路。
（2）在计算机视觉领域，国内致力于研发的企业多为中小企业，如北京大恒图像、北京时利和、北京微视凌志、北京微视新纪元、深圳市视觉龙科技、香港盈基科技、深圳科瑞自动化、深圳步进科技等公司，且起步较晚。国内中小企业由于研发实力有限，更应慎重选择市场切入点，避开工作检测、生物医学等对技术精度要求较高的应用领域，而将目光更多地投向虚拟现实、机器视觉等新兴领域，走出中小企业的特色之路。
（3）在互联网热渐渐褪去之后，国内大型互联网民营企业如百度、阿里巴巴、腾讯等企业，可以将更多的目光投向计算机视觉这一新的市场宠儿，着重关注其在互联网应用、娱乐等应用场景的市场价值，发挥出自身研发实力、产业链和人才上的优势，为自身企业的发展打开新的思路，也为国内计算机视觉市场注入强心剂。
5 结语
本文基于专利数据，对基于双目视觉的三维重建方法的国内外研究现状进行了分析，对国内外重点专利申请人的专利进行了研究，进而得到了基于双目视觉的三维重建领域技术走向，并结合笔者个人对该领域的了解对该领域的产业发展趋势进行了预测，有助于相关领域的研究人员全面把握该领域的专利数据和发展状况。
注：杜文俊、丁丽萍，等同第一作者
参考文献：
[1]罗桂娥，双目立体视觉深度感知与三维重建若干问题研究，中南大学博士论文，2012年5月
1 前言
20实际80年代初，MIT人工智能实验室的Marr教授创立了计算机视觉的理论体系，为人们从二维图像中认识三维世界，打开了一扇崭新的大门。近三十年来，计算机视觉领域获得了长足的发展，其理论基础在不断完善，其应用价值仍有巨大的发掘空间。
我们所认识和生活的客观世界的空间是三维的，在很多应用领域我们需要对三维物体进行认知和分析，因此需要对物体的三维重建，即利用计算机或其它软硬件技术对物体建立适合计算机表达的数学模型，以便在计算机中对物体进行计算、操作和分析。在该领域中，基于双目视觉的三维重建技术是近年来的研究热点。本综述聚焦基于双目视觉的三维重建方法中的关键技术，从专利的角度进行相关分析，对相关行业的发展方向进行预测。
2 国内外重要申请人及其典型专利
对于基于双目视觉的三维重建中的两项关键技术相机标定和立体匹配而言，其来华重要申请人的申请量排名中，国内重要申请人为以浙江大学、清华大学、北京航空航天大学为代表的高等院校。
以浙江大学为例，其申请量不但位居国内申请人前列，且其相关申请的授权率也高达70%以上。以申请号201210360976.0的专利申请为例，其申请人为CAD&CG国家重点实验室主任博导鲍虎军教授，且伴随有相关的国际论文发表，该专利已在2014年获得授权，可以认定为浙江大学在该领域内的关键技术。该申请公开了一种对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法。它利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图；对于多目视频的每一帧图像计算动态概率图，利用动态概率图对每帧图像进行动态像素点和静态像素点的划分，利用不同的优化方法进行时空一致性的深度优化，对于静态点，利用bundle optimization方法结合多个相邻时刻的颜色和几何一致性约束进行优化；对于动态点，统计多个相邻时刻的多目摄像机之间对应像素点的颜色和几何一致性约束信息，对每一时刻动态深度值进行时空一致性优化。其中该申请所涉及到的基于局部的立体匹配技术属于该领域中的关键技术分支。
而在全球范围内，专利申请量占据主导地位的依旧是索尼、三星、佳能等大公司。以三星公司为例，其申请号为KR10-2007-0115960的申请提出了激光视觉系统的自动标定方法，系统在进行自动定标前输入一个预设的运动路径，在运动的过程中通过拍摄的图像以及预设的运动参数，系统可以自动的为激光视觉系统进行定标，而不需要人工的干预。该方法尽管并不是应用于以相机为硬件的双目视觉系统，而是激光视觉系统，但在两个应用场景中都存在相似的定标方法，即属于相机定标的二级技术分支中的基于主动视觉的相机标定法。值得一提的是，三星公司与浙江大学的鲍虎军教授团队已经全面开展了技术合作，目前在我国已有四项专利申请（申请号分别为201210286784、201210464952、201310197100、201310197108），并已处于实审生效阶段。由此可见，国内学术界已开始注重与国际知名公司的紧密合作，也表明学术界和工业界都较为看好立体视觉技术的前景。
3 基于双目视觉的三维重建领域技术走向
通过笔者近年来对基于双目视觉的三维重建领域的专利分析，对于该领域技术的发展方向做出如下预测：
（1）立体视觉的计算理论和匹配策略研究。如何选择有效的匹配准则和算法结构，以解决几何畸变（透视、缩放、旋转等）、灰度失真、噪声干扰、特殊结构（平坦区域、重复相似结构等）及遮挡景物的匹配问题。如何提高算法的鲁棒性、实时性、去歧义性等。
（2）双目立体视觉系统的智能化研究。如何建立基于知识、模型和规则的立体视觉方法。计算机视觉与机器学习两个领域的技术交叉，也是近期的研究热点之一。
（3）算法硬件实现研究。如何提高算法的速度，减少运算量，如何使算法朝并行化方向发展以便釆用并行流水线机制和专用的信号处理器件（如GPU）进行算法的硬件实现，以满足各类实时应用的需求。
（4）进一步重视深度相机作为三维重建设备的应用，解决使用彩色相机的方法鲁棒性较低且难以处理缺少纹理及存在遮挡的情况。
4 产业发展趋势的预测
結合对于基于双目视觉的三维重建的关键技术的专利分析和笔者本人的思考，对本领域的产业发展，特别是国内企业的发展方向给出如下建议：
（1）根据专利申请人的分布数据来看，国内高等院校、科研院所的研究相当活跃，与世界先进水平的差距正在逐渐缩小。以清华大学、浙江大学、北京航空航天大学为代表的高等院校，一定程度上代表了双目立体视觉领域的世界先进水平。相比之下，国内高校和企业在研发力量、将科研成果转化为经济效益方面的作为还远远不足。企业与高校的强强联合，发挥出各自开发和科研实力，是尽快抢占国内市场、改变美日韩企业在华独大的现状的出路。
（2）在计算机视觉领域，国内致力于研发的企业多为中小企业，如北京大恒图像、北京时利和、北京微视凌志、北京微视新纪元、深圳市视觉龙科技、香港盈基科技、深圳科瑞自动化、深圳步进科技等公司，且起步较晚。国内中小企业由于研发实力有限，更应慎重选择市场切入点，避开工作检测、生物医学等对技术精度要求较高的应用领域，而将目光更多地投向虚拟现实、机器视觉等新兴领域，走出中小企业的特色之路。
（3）在互联网热渐渐褪去之后，国内大型互联网民营企业如百度、阿里巴巴、腾讯等企业，可以将更多的目光投向计算机视觉这一新的市场宠儿，着重关注其在互联网应用、娱乐等应用场景的市场价值，发挥出自身研发实力、产业链和人才上的优势，为自身企业的发展打开新的思路，也为国内计算机视觉市场注入强心剂。
5 结语
本文基于专利数据，对基于双目视觉的三维重建方法的国内外研究现状进行了分析，对国内外重点专利申请人的专利进行了研究，进而得到了基于双目视觉的三维重建领域技术走向，并结合笔者个人对该领域的了解对该领域的产业发展趋势进行了预测，有助于相关领域的研究人员全面把握该领域的专利数据和发展状况。
注：杜文俊、丁丽萍，等同第一作者
参考文献：
[1]罗桂娥，双目立体视觉深度感知与三维重建若干问题研究，中南大学博士论文，2012年5月