基于混合脑机接口的音视频通信系统的研究与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yiyingyan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现代社会,音视频通信已广泛应用到日常交流、商务会谈、在线教育和医疗服务等方面,成为人们生活中不可或缺的一部分。现有的音视频通信软件都需要借助键盘、鼠标或触摸屏等传统人机交互设备才能使用。但是,世界上数以百万计的人患有重度运动功能疾病,如脑瘫、中风以及脊髓损伤等。他们因双手不能运动,无法独立地使用现有的音视频通信软件,这给他们的生活带来了极大的不便。而脑机接口(Brain-Computer Interface,BCI)通过读取大脑活动信息,能在不依赖外周神经和正常肌肉传导通道的前提下,实现人脑与计算机的直接交流。基于此,本文的主要研究内容是基于混合脑机接口的音视频通信系统,旨在帮助运动障碍患者更好地与外界通信交流,提高他们的生活质量。首先,本文通过研究SSVEP(Steady State Visual Evoked Potential)、P300、EOG三种单一模态的BCI范式,提出一种混合BCI范式。单模态的SSVEP-BCI异步性能不好,P300-BCI需要重复多次,EOG信号强度高,易于检测,但是无意识眨眼会给系统带来一定的误报率。本文将三种信号有机结合起来,来提高BCI的性能。具体来说,系统首先通过同时检测SSVEP和P300电位来实现脑开关的状态控制,最后通过检测眨眼产生的EOG信号来发出具体的控制指令。其次,设计了基于混合脑机接口的音视频通信系统。系统设计为两个子模块,脑-机交互模块和音视频通信模块。脑-机交互模块中,主要工作包括设计系统的多级菜单、设计SSVEP和P300混合范式的异步检测算法、设计EOG信号的在线检测算法。音视频通信模块中,主要工作包括设计音视频通信模块的软件架构、设计音视频通信模块的信令协议、设计音频和视频数据的实时处理程序。最后,对系统进行了详细的测试,以检验所设计系统的可靠性和稳定性。测试分为两个方面,音视频通信质量测试和脑-机交互性能测试。邀请了8名健康学生参与脑-机实验来测试系统的实际性能。实验结果表明系统具有较高的实用价值。
其他文献
服务业一天多高峰现象,导致提升任务覆盖率与充分利用人力资源之间有矛盾,满足高峰期顾客需求则低谷期员工大量闲置;追求人力充分利用则要牺牲一部分高峰期任务。某大型机场引入两头班模式解决这一矛盾,分配一部分人员服务完一个高峰后,先回家休息,然后返回服务另一高峰。优化目标为在指定两头班的数量下,减少未分配任务数。针对带有两头班的人员排班问题,本文采用两阶段建模与求解。第一阶段为班次生成,采用混合整数线性规
肺癌是极为常见的癌症,也是死亡率最高的恶性肿瘤。小细胞肺癌(small cell lung cancer,SCLC)是肺癌中恶性程度最高的肿瘤类型,约占肺癌的15%,具有进展快、转移早、易复发等高度恶性肿瘤的特点。目前SCLC的治疗主要是化疗和放疗,但治疗后容易复发。此外,免疫治疗、靶向治疗等未能使多数患者受益。因此,SCLC患者的生存预后极差,5年生存率约7%,迫切需要探索新的有效的治疗策略。神
有机电致发光二极管(OLEDs)由于可实现自发光、柔性显示、光色可调、体薄质轻等性能的兼容而越来越多地被应用于显示和照明等领域。作为OLED器件中的主要功能层,电子传输层(ETL)的性能与器件整体特性密切相关。电子传输材料(ETM)一般需要具有较高的本征态或掺杂态迁移率、深LUMO能级、高热稳定性和玻璃化转变温度(Tg>120 °)等。三嗪基团为缺电子的杂环,具有可逆的电化学还原特性,有助于电子的
海洋资源的开发离不开水下通信网络的支持,但是海洋环境中的现场测试具有挑战性且成本高昂。单纯的网络软件模拟虽然成本低廉但是不能反映真实的硬件和信道特性,一般只适用在初期研究。基于硬件的水声网络仿真是从模拟到现场测试之间一种比较合适的过渡研究方式。为了提高硬件仿真测试的可靠性和高效性,应该最小化从软件模拟到硬件仿真的二次开发的工作量,需要硬件仿真平台提供一种支持从纯软件模拟到硬件仿真的快速切换功能接口
柔性电路是一种采用柔性基板制成的印刷电路,而表面缺陷检测是保证柔性电路板出厂质量的关键步骤之一。虽然人工目检的方法逐渐被高速的计算机视觉方法所取代,但是基于传统图像特征的计算机视觉检测方法容易受到环境光照和图像纹理等因素影响,无法处理具有复杂背景和纹理的柔性电路板表面缺陷图像。以Faster R-CNN为代表的深度学习目标检测方法相比以往方法具有更好的特征提取效果与分类定位准确率,但是现有模型难以
紫花山柰,学名Kaempferia elegans(Wall.)Bak.,姜科山柰属植物,也是广东省的特色植物,目前国内外研究主要在其化学物质的分离和体外活性探究方面,而紫花山柰根茎中多糖的提取率不高,结构特征研究较少,活性及作用机理尚不明确。本论文旨在对紫花山柰根茎中多糖进行系统性研究,从紫花山柰多糖的提取入手,对热水提取法和脉冲电场辅助热水提取法进行单因素分析和响应面优化,对比两种方式的提取率
再生块体混凝土在预制装配式建筑构配件中的应用,很好地贴合我国建筑行业大力推进的建筑工业化与绿色节能发展策略。本文研发了一种适用于填充墙施工的预制装配式再生块体混凝土的构造柱和圈梁,基于工程应用的可行性,开展了构造柱及圈梁预制节段的设计、制作、连接、构造、施工工艺和基本力学性能等该技术关键问题的理论分析与试验研究,并对构造柱约束墙体的抗震性能进行了试验研究和有限元分析。本文主要研究内容及结论如下:(
为适应航空航天电子设备轻量化的要求以及越来越有限的空间,本文对比了传统单材质壳体均热板的优缺点,提出了一种轻量化铝铜复合板材均热板,该均热板能够有效的结合铝和铜质均热板的优点。实验结果表明,本文中的铜铝复合板材均热板不仅拥有优异的传热特性,同时做到了均热板的轻量化、低成本。本文的具体研究工作如下:(1)铜铝复合板材均热板制造工艺研究介绍了铜铝复合板材铸轧过程的原理,并测试复合板材的力学性能以及导热
2.0μm单频光纤激光在相干探测、高分辨率光谱学、非线性频率转换、引力波探测和医疗卫生等领域中具有重要的使用价值和广泛的应用前景。相较于连续光,2.0μm单频脉冲激光具有更高的峰值功率和能量,且激光在时域上可以进行调节,即可以实现重复频率和脉冲宽度的灵活调谐,更能满足实际应用需求。然而,现阶段对于在超短谐振腔中有效实现输出稳定、峰值功率大、脉冲能量高的2.0μm单频脉冲的研究非常有限,尤其是限制了
本文结合概率疲劳分析理论和汽车振动理论,通过CAD/CAE的设计手段,建立了汽车驱动桥壳的有限元振动分析力学模型,基于路谱随机载荷的概率计算结果,对其进行了疲劳强度校核和疲劳寿命预估,并进一步提出了汽车结构件基于CAE随机振动计算结果的概率疲劳寿命预估方法,为进行汽车零件基于CAE计算结果的有限寿命设计打下基础。