基于可穿戴式眼动仪的视线追踪方法研究

来源 :兰州大学 | 被引量 : 0次 | 上传用户:hfahcn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视线追踪技术是指通过识别和记录眼睛的运动轨迹,以预测被试者的视线方向和注视点。随着信息技术的发展,视线追踪技术广泛地应用于心理疾病早期诊断、人机交互、临床医学、疲劳驾驶检测、多媒体技术、科学研究等领域中。眼动采集设备也向着轻量化和民用化发展。眼动仪作为记录人的眼动轨迹特征的常用眼动采集设备,为视线追踪技术提供了硬件支持。眼动仪的常见类型可以分为可穿戴式眼动仪和桌面式眼动仪,不同类型的眼动仪适用于不同的应用场景。基于上述硬件支持,视线追踪技术开始专注于向高精度和高稳定性两个方面发展,研究者根据不同的硬件设备和适用场景提出了许多视线追踪算法。然而,现有视线追踪算法的性能受到多种因素的影响,如外界环境的光照变化、瞳孔反射光斑、瞳孔遮挡等,这些因素会导致算法的精度、稳定性不佳。同时,复杂的三维视线追踪模型计算量大,很难做到实时的视线追踪和注视点预测。针对以上问题,本文提出一种基于可穿戴式眼动仪的准确、快速、鲁棒的视线追踪方法。本文的研究内容和技术创新点如下:(1)本文设计了一种可穿戴式眼动仪作为视线追踪系统的硬件基础。针对采集的瞳孔图像可能受硬件条件和环境因素干扰导致后续算法鲁棒性低的问题,本文提出了一种基于图像增强和预训练虹膜分割模型的瞳孔图像预处理算法。为了解决高速摄像头拍摄的图像对比度低的问题,本文对比了多种图像增强算法。在图像增强效果和处理时间两个方面进行比较,得到在这两个方面的最优算法——全局直方图均衡化,解决了光照对图像质量的影响。另外,对于非瞳孔边缘点对瞳孔椭圆拟合结果的影响,本文采用了一种基于Yolo深度网络的预训练模型。并对网络结构进行优化,提高了训练和预测的效率,有效地过滤了图像中眼睑、睫毛等边缘点,以提高后续算法的性能。(2)针对瞳孔识别算法易受环境光照、瞳孔遮挡等因素影响算法精度和鲁棒性的问题,本文提出了一种基于改进RANSAC的自适应瞳孔提取算法。在保证识别精度的条件下,提高了算法的鲁棒性和速度。在传统的RANSAC算法上优化了边缘点集合的筛选及补全和自适应初始点选择。首先,通过计算图像像素的梯度变化,确定图像中的边缘点。然后,对边缘点集合进行直线检测和边缘补全,提高了在瞳孔被遮挡的情况下算法的鲁棒性。最后,根据图像质心自适应地选择算法拟合的初始点,减少了算法迭代次数,从而提高算法的效率。将该算法和传统RANSAC算法、Deep VOG深度学习算法在CASIA、IITD公开数据集上进行比较。结果表明,在拟合准确率上三种算法均达到了较好的拟合效果。本文提出的瞳孔拟合算法可以达到97%的准确率。另外,在相同准确率的情况下,本文的瞳孔拟合算法运算速度更快,处理时间可以达到12.01ms。同时,针对瞳孔受遮挡的场景,本文提出的算法具有更好的鲁棒性,对瞳孔遮挡的图片有着83.8%的识别率。(3)针对不同的视线追踪场景,本文提出了两种不同的视线追踪模型,并比较了二者在不同深度下准确度和精确度的优劣。基于多元回归的注视点预测模型是通过求解多项式变换函数,以模拟瞳孔中心和注视点二者之间的映射关系,此算法适用于在空间内某一特定深度平面内的注视点预测。基于三维视轴向量的注视点预测模型将瞳孔图像经过仿射变换,在三维坐标系下对人眼双球模型进行建模,以计算三维的光轴向量,最后计算左右眼视轴向量于空间中的交点,令其作为三维注视点。同时,针对构建人眼-注视点三维模型时存在的深度信息未知的问题,本文提出了一种基于三维视轴向量的二维注视点深度校正的注视点预测模型,解决了上述深度信息未知的问题,并在现实场景下进行了测试。综上所述,本文对可穿戴式眼动仪提取的瞳孔图像进行分析建模,完成从瞳孔图像到注视点的预测。并针对视线追踪常见的问题进行了优化,解决了外界光照条件、瞳孔遮挡、眨眼等因素对算法鲁棒性的影响,能够准确的对三维空间内的注视点进行估计,并能够实现实时的预测被试者当前注视点位置。
其他文献
毛藏碱性斑岩体侵入于加里东期毛藏寺中酸性岩基的中心部位,呈小岩株状产出。通过岩石地球化学研究,结果表明碱性斑岩体的主量元素SiO2含量介于57.55%~55.98%之间,REE含量为433×10-6~9 824×10-6,平均高达5 218×10-6。LREE/HREE比值介于24~98之间,(La/Yb)N比值为54~5 699,表现为轻重稀土强烈分异,具有富轻稀土、高钾富碱、富铝贫钛、富锶和钡
期刊
<正>2017年11月21日,习近平总书记给内蒙古自治区苏尼特右旗乌兰牧骑队员们回信,高度赞扬了他们取得的成绩,鼓励他们永远做草原上的“红色文艺轻骑兵”。习近平总书记指出,乌兰牧骑是全国文艺战线的一面旗帜。在新时代大力弘扬乌兰牧骑的优良传统,扎根生活沃土,服务牧民群众,推动文艺创新,努力创作更多接地气、传得开、留得下的优秀作品。
期刊
阿尔金西段小白河沟地区近年来萤石找矿取得重大突破,该区近年来新发现大型萤石矿床,但该萤石矿床的成矿流体来源、性质及富集机理仍不清楚。萤石矿化主要赋存于花岗岩体内外接触带附近,赋矿围岩主要为阿尔金岩群中的黑云斜长片麻岩、碳酸盐岩等富钙质岩系,矿体明显受NE向断裂构造控制,矿石为脉状、角砾状、块状、条带状,矿物组成为方解石、萤石、带云母,矿床成因主要为热液充填型矿床。LA-ICP-MS锆石U-Pb测试
期刊
目的 探讨甘草锌对黄褐斑的治疗作用。方法 将36只BALB/c小鼠平均分为空白组、模型组、甘草锌低剂量组、甘草锌中剂量组、甘草锌高剂量组和氨甲环酸组,用100mJ/cm2 UVB照射联合15mg/kg黄体酮注射进行黄褐斑造模,后对小鼠进行氨甲环酸(0.065g/kg)与甘草锌低(0.65g/kg)/中(1.3g/kg)/高剂量(2.6g/kg)连续治疗14d。取皮肤进行HE、Masson-Font
期刊
在气候变化背景下,确保全球粮食安全成为人类面临的最艰巨挑战之一。本文围绕粮食安全的四大维度,较为系统地表述了气候变化对全球粮食安全的压力传导机制,并详细阐述了气候变化和非气候因素对全球粮食安全的复合效应,力图多维度展现气候变化对全球粮食安全的影响程度。研究结果表明,气候变化通过扰乱粮食的生产、储存、运输、销售、消费等环节,对粮食安全的所有维度均造成了负面影响。气候变化具有倍增效应,它加剧了非气候因
期刊
甘肃省金塔县黑石山地区处在北山造山带,该带经过多期次的构造作用和岩浆活动,形成了许多重要的Au、Cu、Pb、Mn、Ag等金属矿产和萤石、重晶石等非金属矿产。通过1∶5万土壤地球化学测量圈定了以氟为主的异常,利用1∶1万土壤测量、槽探和钻探工程等找矿手段发现了萤石矿体,本文总结了研究区萤石矿体的特征及找矿标志,为该区寻找同类型萤石矿提供依据。
期刊
为揭示淄博市农业气象灾害风险,保障粮食安全生产,根据1983—2020年淄博市农业气象灾情资料和粮食产量数据,运用趋势分析、灰色关联法和Hurst指数等方法,分析了淄博主要农业气象灾害时空分布,并对灾害发展趋势及与粮食产量的关联度进行了探讨。结果表明:(1)淄博市农业气象灾害频发,从发生频率排序依次为干旱、大风、冰雹、暴雨洪涝、台风、冷冻灾害,灾害比重年际差异大。(2)4类主要农业气象灾害受灾率均
期刊
哺乳动物随着环境的变化不断演化出与原来不同的特征,因此可以根据化石标本的形态特征判断它们在系统演化中的位置,并根据动物群中各个种类的演化程度判断不同动物群之间的生物年代顺序。本项研究在传统的绝灭率、共有属种、二元相似性系数等方法的基础上尝试拓展了二元共有度和排序梯度等共9种方法,对选自中国境内有代表性的15个更新世哺乳动物群进行了生物年代排序。自老至新的动物群以其产地为名的生物年代合意顺序及推测的
期刊
通过风电机组运行数据的分析挖掘,结合影响风电场发电量的相关因素,提升风电机组可靠性。
会议
<正>感染性疾病需要用正确病原学检测保证诊断和治疗的科学性,而正确病原学检测的前提要求是微生物标本规范化的采集和送检,所以在针对临床疑似感染的患者必须先进行微生物标本的采集和送检。在对微生物标本进行采集送检的过程中,需要尽可能的送检没有细菌感染部位的标本,比如血培养的标本,最后有菌部位的标本需要尽可能的避免正常菌群导致标本污染的情况。一般情况下,呼吸道、皮肤伤口等等,这些地方的正常菌群一不小心就很
期刊