基于眼动信息的轮椅运动控制系统研究

来源 :哈尔滨理工大学 | 被引量 : 0次 | 上传用户:woshichuanqi007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全世界大约有1.32亿残疾人需要在日常生活中使用轮椅。其中,近100万人患有运动障碍类疾病,丧失用双手控制轮椅的能力。智能化产品不但为人们提供了全新的操作方式而且还提高了产品使用的舒适度。现有的智能轮椅主要是声控智能轮椅和脑电智能轮椅,声控智能轮椅无法为丧失说话能力的患者提供服务,脑电智能轮椅需要患者佩戴其它外置设备会增加患者的使用负担。因此,急需为上述人群提供一种眼动控制轮椅,解决出行问题。本文设计一种眼动智能轮椅控制系统,建立人眼凝视数据集,搭建卷积神经网络模型,实现患者通过眼睛对轮椅的运动控制。首先,设计并搭建虚拟采集场景和真实采集场景,采集100名志愿者眼睛凝视不同方向的视频,对视频进行逐帧处理,变成带有标注信息的图片数据,从中筛选得到4200张人脸图像。对这4200张图像进行预处理操作后,仅保留人眼图像及其标签,这4200张凝视不同方向的眼睛图片组成的人眼凝视数据集,命名为多环境注意力凝视数据集。其次,将眼动信息分为凝视不同方向和眨眼两种。搭建用于判定人眼凝视方向的卷积神经网络(Gaze Network,Gaze Net),并使用眨眼检测算法判断是否发生眨眼动作。将凝视不同方向和眨眼这两种动作状态与控制轮椅的指令相对应,即凝视不同方向对应控制轮椅向左、向前和向右,眨眼对应控制轮椅的启动和停止。所搭建的Gaze Net网络既满足网络的轻量化要求,又满足识别准确率的要求。再次,把人眼凝视方向估计算法程序和眨眼检测算法程序移植到嵌入式设备Nvidia Jetson TX2内,设计一种眼动智能轮椅控制系统,通过摄像头采集眼动信息,输出轮椅控制指令,通过Arduino解析指令,采用3D打印技术制作机械装置,实现对轮椅摇杆方向的控制。基于Py Qt5设计上位机应用软件,实现轮椅运动状态的可视化。最后,搭建轮椅真实测试环境,规划轮椅运动轨迹,通过对志愿者进行培训,在搭建的真实场景中测试眼动轮椅控制系统的性能,验证Gaze Net模型和眨眼检测算法在改造后的轮椅系统上的有效性,并证明该眼动控制系统的实用性。
其他文献
目的 通过对抗癫痫药物左乙拉西坦不良事件(ADE)信号的挖掘分析,以期为临床安全合理用药提供参考。方法采用比例失衡法中的报告比值比法(ROR)和综合标准法(MHRA)对2017年1季度至2021年3季度美国食品药品监督管理局(FDA)不良事件报告系统(FAERS)中左乙拉西坦的ADE报告进行数据挖掘及分析。结果 分析处理数据后共得到622个有效信号,涉及24个系统器官,主要集中在各类神经系统疾病、
<正>阅读是一个人获取其他基本能力的手段、工具、前提和条件,对幼儿进行早期阅读能力的培养需要开展各种各样丰富有趣的活动,才能够提升其阅读能力以及认知事物的能力,并在一定程度上能够增强其文学素养、艺术素养。一、早期阅读的作用幼儿园语言教育中极为重要的一个部分就是早期阅读。幼儿了解世界、获得知识的重要途径就是阅读。早期阅读活动基本上都是在幼儿园里进行的,因此主要还是需要借助幼儿园教师的力量来帮助幼儿提
期刊
目的 为利培酮的临床安全使用提供参考。方法 采用报告比值比法与英国药品和保健品管理局综合标准法,对美国FDA不良事件报告系统(FAERS)数据库中2017年第1季度至2021年第3季度共19个季度的利培酮相关药品不良事件(ADE)报告进行数据挖掘与分析。结果 获得以利培酮为首要怀疑药物的ADE报告共计101 181份,涉及患者33 179例。所统计的报告中,男女比约为6.21∶1;以<18岁的患者
以温室盆栽的大叶菠菜为试验材料,喷施不同浓度的10%甘氨酸水溶肥,通过对菠菜株高、叶片数等生长指标进行测量,研究甘氨酸水溶肥对菠菜生长发育的影响,以期为甘氨酸水溶肥的商品化应用提供参考。结果表明:10%甘氨酸水溶肥处理可促进菠菜叶片的生长,提高叶片SPAD叶绿素含量、氮含量,提高植株干物质含量,但对菠菜的株高生长具有抑制作用;不同浓度处理均对菠菜根系生长有一定促进作用。综合比较,10%甘氨酸水溶肥
目的:基于美国FDA不良事件报告系统(FAERS)数据库挖掘奈拉替尼的安全警戒信号,为临床安全用药提供参考。方法:收集FAERS数据库2017年第3季度至2021年第3季度的奈拉替尼不良事件数据,利用比例失衡法中的报告比值比(ROR)法和比例报告比值比(PRR)法进行数据挖掘。结果:共收集到奈拉替尼为首要怀疑药物的不良事件报告1 362份,挖掘出奈拉替尼不良事件信号96个;排除非药品不良反应信号后
现阶段很多地区都建立了自然保护区,自然保护区建立的价值对于人类来说是至关重要的,自然保护区资源有利于生态的可持续发展,但是现阶段自然保护区的林业资源保护仍然存在一些问题,为了生态的可持续发展,要积极对自然保护区内林业资源进行保护,以此促进生态平衡,保护人类赖以生存的家园。,并针对这些问题提出相关改进措施,以保证自然保护区内林业资源的未来可持续发展。
早期我国的证券市场尚未成熟时,其规模尚不足以支持企业的全部资产或业务一次性进行上市。在此背景下,分拆上市推动了我国证券市场的前期发展,壮大了证券市场的规模。但是,随着时间的推移暴露出分拆上市的诸多问题,如“关联交易”、“大股东借分拆上市侵占公司权益”等。2004年,TCL成为我国第一个通过换股后进行IPO的方式完成整体上市的企业。此后,我国陆续颁布新文件以鼓励支持企业整体上市。此后,选择整体上市的
在一般城市道路,轮椅使用者不免会遇到上下坡的情况,轮椅使用者易发生后仰或者向前翻的安全问题,为了实现轮椅使用者在上坡、下坡过程中保持身体水平,提高轮椅使用的安全性及舒适性,设计了一种基于大惯量轮的座位姿态自平衡轮椅,包括轮椅框架、座位、磁力锁、电机保护棘轮、大惯量轮座位姿态自平衡机构和两轮椅轮。根据其基本构造和基本原理,给出了能够实现自平衡式新型智能轮椅运作的方案和步骤,并通过实验证实了其实用性。
贵州是红军长征的重要地区,标语口号是当时最常用且有效的宣传方式之一,兼具了物质和精神的双重层面,成为贵州红色文化的重要载体。贵州红色标语口号,以其灵活多样的形式特征,以其较强的宣传性,以其丰富厚重的革命内容,唤醒了贵州民众。其中深刻蕴含的鲜明红色基因,对于新时代弘扬伟大长征精神与遵义会议精神,因地制宜开展党史学习教育,有着深刻的价值意义。
全国硕士研究生招生考试作为一项大规模高利害的国家教育考试,与考生切身利益息息相关,受到社会高度关注。在疫情防控常态化背景下,研究生考试考务管理工作面临的舆情风险主要有:考务人员在面对突发情况时应对考生诉求存在盲点风险,新增线上考务工作存在潜在流程风险,异地借考工作突发存在潜在管理风险,全媒体时代存在舆情信息的急剧爆发风险。在分析上述舆情风险点的基础上,提出应对的措施主要有:加强组织领导,强化风险责