连续交互空间下的多通道人机交互技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:jianjia88521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的不断进步,计算机正在朝着微型化、多媒体化、智能化发展。传统的以计算机为中心的桌面计算模式,将用户限制于固定的桌面空间的应用方式已经难以适应人们在任意地点、任意环境下获取信息服务的应用需求。普适计算的提出,使计算模式逐步向以人为中心的方向发展,同时,综合利用物理世界、信息空间、人类社会进行计算的人、机、物三元融合已经成为了信息技术的发展趋势,这些都给下一代的自然人机交互技术带来了新的要求和挑战。  在普适计算环境下,智能空间中的物体表面及周围的物理空间实质上构成了一个连续、立体的交互通道。可以将智能空间视为由数字物体表面所包裹的一个统一连续的物理交互空间。数字表面可以作为交互空间的界面接口,是连续交互空间的物理边界,同时也是不可缺少的组成部分。  目前,接触式的多点触控技术已经较为成熟,得到了广泛应用,但随着计算设备的微型化、可穿戴化,触控交互技术受设备体积限制的局限性也在逐渐显现。而在视觉交互技术领域,Kinect、Leap Motion等消费电子产品的出现,使得三维空间内的人体姿态、手势交互技术成为了一种现实的可能,具有广泛的应用前景。  因此,将接触式的触控交互技术与非接触式视觉交互技术相结合,将交互空间由接触式二维平面延伸到非接触式三维的物理空间,可以建立一个涵盖数字表面及三维空间的统一连续的物理交互空间,实现空中姿势与表面触控姿势的统一。同时,空间姿态、表面触控姿态信息可以互为彼此的交互上下文信息,有利于实现物理空间与信息空间的无缝过渡与融合,为实现三维化、智能化、多通道化的自然人机交互提供实现基础。  本文首先对多通道交互技术、姿势交互技术的研究现状进行了分析调研,建立了将数字表面与三维空间相结合的,包括空中层、表面层、混合层的连续空间模型,在此基础之上,提出了交互动作的表面轨迹与空中轨迹相结合的混合交互姿势,建立了连续交互空间的层次处理模型。然后,展开空间融合方法的研究,构建了基于非对称双面棋盘图案的交互空间坐标匹配算法。接着,提出了通用化的算法框架,并采用了轻量级、更易于实现及应用于移动设备的模板匹配的识别方法,设计并实现了可适用于平面姿势、空间姿势及混合交互姿势的通用识别算法。最后,建立了平台化的软硬件系统框架,与科研项目相结合,设计并实现了混合手势、压力手势、人体运动姿态数据采集系统应用,通过相应实验验证了系统平台的可行性及应用算法的可用性。  本文的创新点如下:  1.基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中姿势及触控姿势的特性及优点的混合姿势输入方法;基于连续交互空间的概念,将混合交互姿势,空中姿势、表面触控姿势进行统一,建立了包括空中层、表面层、混合层的连续交互空间模型及分层处理模型。  2.构建了连续交互空间中多坐标系的自适匹配方法。设计了可双面打印制作的非对称双面棋盘标定图案,通过相应的自适应匹配算法,自动匹配标定图案的空间对应角点,实现多角度相机之间,多相机与数字表面之间的三维、二维空间坐标系匹配。并通过图案误差校正算法提高匹配精度,降低了对标定图案打印精度的要求。  3.针对连续交互空间的人体姿势识别,构建了通用性的算法识别框架。基于归一化的连续交互空间时间一空间数据流输入,对轻量级的$1二维平面手势识别算法进行了扩展及改进,将其扩展到了附带多通道信息的三维空间中空中层、表面层、混合层姿势识别。提出了一种基于投影的单次旋转姿势匹配识别方法,通过矩阵奇异值分解,计算归一化姿势与模板之间的最优旋转矩阵,经过一次刚体转置即可完成与姿势模板的匹配度计算。
其他文献
随着信息网络技术的发展,网络信息安全已成为维护国家安全和社会稳定的重要因素。使用国外软件由于可能存在后门问题,给我国的信息安全带来了巨大的隐患,因此我国大力发展国产基
中国的水产品总产量位居世界第一,水产品在人们的生活中作为极为重要的食物来源,扮演着重要的角色。目前水产品消费市场上的产品质量参差不齐,且缺乏有效的信息管理技术,一旦出现
随着互联网技术的发展,互联网已经成为人们生活的一部分,电子商务也成为了人们的主要消费方式之一。但是在互联网这样一个开放的网络环境中,对于电子商务等对信息安全特别敏感的
随着我国综合国力的增强以及对科技发展的日益重视,我国的科学技术研究事业进入了高速发展阶段。作为科技研究成果的重要载体和参考指标,科技文献的产生数量和质量也在急剧上升
作为波动光学领域的经典现象,衍射和干涉是光的波动性的主要标志之一,并广泛存在于彩色光盘、彩虹状的肥皂泡和光彩熠熠的蝴蝶等自然场景中。在计算机渲染的图像中加入这些效果
随着科技的发展以及人们生活水平的提高,计算机在人们生活和工作中越来越普及,并且扮演着非常重要的角色。对儿童进行计算机科学的教育也越来越受到国内外研究人员的关注。计算
测试用例生成是软件测试的重要内容,随着现代软件系统日益复杂庞大,传统的搜索技术难以有效地应用于测试用例生成领域。遗传算法在解决大空间、非线性等高复杂度问题时,显示了独
伴随着人们个性化自我展示需求的日益增长,越来越多的用户加入到社交网络中,社交网络的用户数和数据规模呈爆炸式增长。社交网络数据中蕴含着丰富的用户偏好信息、行为模式以及
随着计算机网络的普及应用,基于网络的空间信息资源正日益丰富,其应用领域也在快速发展,以满足社会对空间信息的需求。矢量地图由于其放大不失真、精度高等特点,在地图查询、工程
手语是聋哑人群体进行交流的语言,它运用手部、面部、头部以及身体的空间运动来表达语义,是一种视觉空间语言。将其应用于计算机等交互界面中,可为听障人群提供更为形象生动的视