论文部分内容阅读
增强现实技术是在虚拟现实技术基础上发展出的研究分支,能够将虚拟的三维物体叠加到现实世界的标记物上,近年来已经在游戏、医疗、文化、教育等领域得到了广泛的应用。然而除了视觉效果,为增强用户体验的真实感、拓展应用范围,增强现实与其它提供听觉与触觉效果、与真实世界交互等硬件模块的结合也亟待研究。本文基于增强现实技术和图像分类技术搭建了一款机器视觉系统,实现了智能眼镜、服务器和硬件模块的联动机制,并将该机器视觉系统进行了应用场景仿真,论证了该机器视觉系统的工程实践意义。本文的内容和贡献主要有如下四点:首先,论文介绍了这种新型的基于增强现实的机器视觉系统结构,描述了主要模块智能眼镜、服务器以及多个单片机控制的执行单元的功能和实现原理,通过一个具体的流程实例,展示了系统基于TCP/IP协议,增强现实与其它硬件模块协同操作的过程。同时指出系统的控制核心部分是机器视觉模块,图像分类的结果也决定了增强现实显示内容和执行单元的输出结果。其次,本文对增强现实技术中视觉部分的传统特征点检测算法进行了比较。通过叠加图像高斯金字塔解决了ORB特征描述子不具有尺度不变性的缺点,实验论证,与SIFT、SURF和原生ORB算法相比,本文实现的金字塔ORB算法在效率、特征匹配率等指标上综合评价最高。然后本文基于金字塔ORB算法完成了增强现实中的注册与渲染,实现了虚实融合的效果。再次,本文比较了传统图像分类算法和基于卷积神经网络的图像分类算法的性能,本文采集了十个分类共8000张图片,并按照3:1的比例划分训练集和验证集,在传统算法实验上,本文分别使用SIFT、SURF、原生ORB、金字塔ORB算法提取了图像特征,并将降维后的特征输入决策树分类器,其中表现最好的是金字塔ORB特征,在验证集上正确率超过了75%;然后本文使用16层的卷积神经网络训练了分类器,实验结果表明,该分类器性能良好,在训练集和验证集上的预测正确率分别达到了98.5%和97.65%,远远超过传统算法。最后本文对这款机器视觉系统进行了应用场景的仿真,在该应用场景中,用户佩戴智能眼镜能看到增强现实虚实融合的效果,还能够根据用户看到场景的不同得到一个信息提示的二维虚拟UI。