【摘 要】
:
视线跟踪技术是一种检测人眼视线方向或注视点的技术,广泛应用于教学质量评估系统、生产线工人注意力监测、疲劳驾驶、虚拟现实、广告分析等诸多场景。但由于当前视线跟踪技术通常采用基于RGBD图像或红外图像的视线跟踪算法,通常需依赖深度相机和红外相机等外部设备,导致应用过程中使用不便,成本高,且应用场景受限。论文在分析国内外视线跟踪相关算法的基础上,提出一种基于深度学习并使用单目RGB图像为输入的视线跟踪算
论文部分内容阅读
视线跟踪技术是一种检测人眼视线方向或注视点的技术,广泛应用于教学质量评估系统、生产线工人注意力监测、疲劳驾驶、虚拟现实、广告分析等诸多场景。但由于当前视线跟踪技术通常采用基于RGBD图像或红外图像的视线跟踪算法,通常需依赖深度相机和红外相机等外部设备,导致应用过程中使用不便,成本高,且应用场景受限。论文在分析国内外视线跟踪相关算法的基础上,提出一种基于深度学习并使用单目RGB图像为输入的视线跟踪算法,制作了算法需要的数据集,并给出算法移植到搭载安卓操作系统的嵌入式设备上运行的具体流程。论文主要研究工作如下:1.构造视线跟踪神经网络损失函数。由于视线通过视轴与三个相机坐标轴(x,y,z)的夹角α、β、γ来描述,需在神经网络中构造三条损失函数支路来评估它们的估计误差,在三条损失函数支路中,每条支路的损失函数由两个具体的损失函数成员加权组合而成,一是交叉熵,用于粗略调节网络参数,二是均方误差,用于微调网络参数。2.搭建视线跟踪多损失卷积神经网络。论文通过在Yolov2、Res Net18等基础网络上删除一些冗余的网络层,增加视线跟踪特有的层,如多损失函数层来实现视线跟踪神经网络。3.低分辨率图像头部姿态估计。对视频图像采用卷积神经网络进行人脸检测,并在Yolov、Res Net等网络后接三条损失函数支路来评估头部姿态欧拉角Yaw(偏航角)、Roll(俯仰角)、Pitch(翻滚角)的估计误差。由于低分辨率图像的头部姿态特征不明显,需对原始数据集进行上采样、下采样、图像模糊等处理,迫使网络学习不同分辨率的图像,以提高模型的预测精度。4.视线跟踪眼球数据集标定。视线作为三维空间的矢量,标定者无法直接根据RGB图像判断其在相机坐标系中的方向。论文提出一种基于3D仿真软件的数据集制作方法,通过在仿真软件中制作类似真人的眼球模型,用程序控制其模拟人眼转动同时生成数据集,来解决这一问题。5.安卓嵌入式终端算法移植。为提高模型执行效率,论文采用Android Studio对Caffe模型进行移植。嵌入式设备上使用Java实现外部图像采集程序,C++实现图像预处理和模型调用程序。
其他文献
随着光纤通信技术的发展,光通信系统日益增长的传输速率和传输距离限制了系统的可操作性。未来光纤通信网络的透明性,动态特性和灵活性增加了网络管理的复杂性。同时,它也带来了各种类型的光信号损伤,严重影响了信号传输的质量。光学性能监测技术(Optical Performance Monitoring,OPM)的出现为该问题提供了解决方案。但是,传统的OPM技术在同时和独立监测多个参数方面能力有限,因为不同
高速、高分辨率、多通道的采集系统对各领域的科研任务至关重要,被广泛应用在诸如地震检测、脉冲捕获、殉爆试验等场景中。鉴于高速高分辨率的多通道数据采集系统的重要性,本文着力于设计一款数据采集与存储模块,该模块具有8通道、12位分辨率和2.5GSPS采样率的主要性能指标。本文主要通过系统方案设计、硬件电路设计和现场可编程逻辑门阵列(FPGA)的逻辑设计三个方面来展现模块的设计内容。系统方案设计中,本文围
在雾、霾等恶劣天气下的成像过程中,相机传感器和视觉应用系统受到空气中悬浮大气粒子的干扰,造成拍摄的图像质量下降,产生模糊不清、颜色衰减、对比度下降、细节丢失等现象。这对智能交通、监控系统和目标识别等户外图像处理和计算机视觉应用带来了不便,如何增强雾天低质图像的清晰度与能见度,减弱这类恶劣天气对户外成像系统的不利影响,已经成为图像增强领域的研究热点。本文主要研究内容如下:(1)研究了雾天低质图像的退
目前室内机器人定位方法主要为轮式里程计或IMU的航迹推算、视觉定位和室内伪卫星定位。航迹推算在短时间、短距离内具有很好的定位精度,但会出现累计误差;室内伪卫星定位可以为机器人提供很好的定位效果,但成本过高;视觉定位是一种根据图像信息来估计机器人位姿的定位方法。在静态环境下,视觉定位展现出了高精度、低成本的特性。但在动态环境下,视觉定位的精度下降,甚至失效。目前出现了不同方法相结合的定位方案以提高室
舰船是海上贸易运输和作战装备的重要载体,当海上爆发战争时,极易成为军事火力重点打击目标。因此,航天遥感图像中的舰船检测成为远程遥感领域的研究热点。如何快速准确地获取复杂海洋环境下舰船目标的位置信息就显得尤为重要。天基红外遥感卫星对地红外探测器具备全天候工作,对云雾具有一定穿透性等优点。它能对比舰船自身的红外辐射或反射的太阳辐射与周围环境辐射的差异,来实现复杂海洋环境下的舰船检测。近年来,深度学习作
当光穿过非均匀的介质(例如烟尘,浓雾,生物组织和毛玻璃等)时会发生散射,从而导致光束的波阵面失真,继而在成像平面上形成散斑图案,使得遥感观测、公共安全、生物医学等领域中光成像的发展受到阻碍。因此,散射成像成为光学领域的研究热点之一。计算全息成像作为一种新的成像技术,可通过空间光调制器(spatial light modulator,SLM)加载图像的相位信息,对光束波前进行调制,使其适用于更广泛的
无线通信、雷达、电子战接收机等现代通信设备信号带宽的提高,使得其对数据采集系统性能的要求也不断提高。这些设备通常要求数据采集系统具有较高的实时采样能力,并且能多个通道同步采样。随之而来,数据采集系统的存储及传输需求也不断提升。为满足数据传输需求,测试仪器总线速率及性能也在不断提高。由此,本文设计了一种基于AXIe测试总线平台的双通道高速数据采集模块,主要研究内容如下:首先,分析并对比两种可实现6.
光频域反射技术(Optical Frequency Domain Reflectometry,OFDR)在现代军事、大型建筑、精密仪器制造等领域有重大的价值,是近年来研究的热门。本文首先建立了OFDR系统理论模型,在该理论模型基础上,搭建了分布式光纤声频振动实验系统。通过软件算法去除光源扫频非线性所带来的相位噪声,系统空间分辨率大大提高。利用互相关算法实现振动事件定位,进一步通过相位解调法恢复振动
输油气管道是油气资源运输的重要途径,其长期稳定运行保障了我国经济的高速发展。输油气站是输油气管道系统中的重要节点,是进行油气资源远距离输送的关键枢纽。控制系统是输油气站的大脑,监测和控制着站内多个工业生产设备。当控制系统发生故障时,会导致输油气站无法进行正常的生产作业,造成巨大经济损失。因此为保障输油气管道系统的长期稳定运行,提高控制系统维护和检修的效率,减少经济损失,需要对输油气站控制系统进行状
柔性触觉传感器被认为是赋予人造物体以人类触觉的一种方式,能够被广泛应用于人工假肢、人工智能、机器人、虚拟现实等领域。目前,关于柔性触觉传感器的研究大多集中在提高传感器的灵敏度和响应范围上,对于三维力触觉感知的相关研究很少,具有三维力触觉感知能力的传感器能够准确的感知空间中力的大小以及方向,这是机械手完成精确抓取、判断物体运动方向等操作的重要参考。传统的力矢量传感器多使用应变片,具有体积大、难以集成