自由姿态下的视线估计方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:h_heart
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视线估计的主要任务是估计人们关注的方向或屏幕上的二维关注点。作为计算机视觉的重要研究内容之一,视线估计在人机交互、医疗诊断、心理学研究等方面都有着重要的应用价值。目前,基于外观的视线估计方法因系统结构及操作简单等优点逐渐成为了研究的热点。然而,在实际应用中测试者会存在大尺度的头部姿态变化。光照条件和遮挡等问题也会影响采集图片的质量。这些因素都会增大视线估计的难度。为了实现高精度的自由姿态下的视线估计方法,本文针对这些影响视线估计精度的关键因素,基于深度卷积网络研究了三种新的视线估计方法。本文主要研究内容如下:1.瞳孔中心和眼球中心的位置可以决定视线的方向,通过瞳孔中心位置的学习能够帮助改善视线估计算法性能。针对这个观点,提出了一种基于瞳孔定位信息的视线估计算法,通过在视线估计网络中加入瞳孔中心定位辅助任务,并将学习到的瞳孔位置信息作为额外特征加入特征向量,从而提升网络的视线估计精度。2.针对现有视线估计算法对头部姿态鲁棒性不高的问题,提出了一种基于头部姿态聚类的视线估计方法,通过头部姿态聚类将视线估计任务分成几个较简单的子任务。同时,为了解决聚类后出现的训练数据减少问题,设计了带有类别分辨能力的损失函数,训练共同的特征提取网络和属于不同头部姿态子类的视线估计分支。这种基于头部姿态聚类思想的视线估计算法可以保证特征提取网络泛化能力,并且提升算法对头部姿态的鲁棒性。3.本文提出了一种基于人脸和眼球上下文信息的视线估计算法,设计了一个包括三个特征提取分支的视线估计网络,分别提取人脸和双眼特征用于直接估计视线角度。为了减少头部姿态估计步骤带来的误差,直接将人脸图片作为输入估计视线角度。同时,为了充分利用眼睛部位所包含的眼球偏转角度信息,在网络中加入了人眼特征提取分支。除此之外,针对双眼由于光照、遮挡等因素导致的图片质量不一致问题,构建了双眼特征谱权重学习模块对双眼特征谱进行加权,进一步提升视线估计精度。通过实验证明本文算法通过加入瞳孔定位任务、头部姿态聚类和提取人脸及双眼特征谱都有效的提升了视线估计精度。
其他文献
<正> 根据法院组织法第11条规定,审判委员会的任务是总结审判经验,讨论重大的或疑难的案件和其他有关审判工作的问题。作为人民法院内部的集体领导组织,总结审判经验,讨论与
建立了一套采用动力计算法、以船舶自动识别系统(AIS)数据为基础,利用船舶逐条动态上报信息自下而上编制船舶大气污染物网格化排放清单的方法,尤其是针对AIS静态信息不足以支
近几年来随着智能手机的普及,出现了各种移动端的业务,在能源革命、“互联网+”和创新驱动等国家战略的背景下,能源互联网将成为能源领域创新创业的沃土,为了更好的向用户展
高光谱图像分类是遥感领域的研究热点之一。随着光谱信息的不断丰富和光谱波段数的迅速增加,传统分类器如支持向量机、随机森林等,在处理高光谱分类应用时,往往由于输入数据
随着现代科技化社会与经济的飞速发展,人们的生活质量越来越高,对艺术的审美要求也逐步提高,不仅要有舒适的艺术展示方式,更要通过科技的方式参与艺术作品的互动中。在众多科
<正>本文从考古及文献资料,分析南越国国都番禺城的城市结构状态,认为当日南越国都城基本上可以分成下列五区: 1、城内宫殿和官署区 2、内城的道路系统 3、城西北宫苑区 4、城
会议
耗散,是一个物理学概念。在摩擦生热过程中利用效率较高的机械能转变成利用效率较低的热能,这在物理学中就叫能量耗散。“所谓耗散结构,就是在开放的远离平衡的条件下,系统通
翻译是一种跨文化交际活动,认知环境是它的重要影响因素。本文在关联理论和关联翻译理论的指导下,通过分析英语读者和汉语读者认知环境中文化因素的差异,认为为使译语读者在
目的:口腔颌面部恶性肿瘤约占全身恶性肿瘤的3%,其中口腔鳞状上皮细胞癌(Oral Squamous Cell Carcinoma,简称OSCC)是口腔颌面部最常见的恶性肿瘤之一,其发病率占口腔恶性肿瘤
社会经济的迅猛发展带动人们生活质量的普遍提高,汽车已不光只是作为一个代步工具方便大家出行。人们购买汽车的标准也越来越高,不再仅局限于考虑汽车动力性、行驶安全性和燃