论文部分内容阅读
随着计算机技术的不断进步,计算机正在朝着微型化、多媒体化、智能化发展。传统的以计算机为中心的桌面计算模式,将用户限制于固定的桌面空间的应用方式已经难以适应人们在任意地点、任意环境下获取信息服务的应用需求。普适计算的提出,使计算模式逐步向以人为中心的方向发展,同时,综合利用物理世界、信息空间、人类社会进行计算的人、机、物三元融合已经成为了信息技术的发展趋势,这些都给下一代的自然人机交互技术带来了新的要求和挑战。 在普适计算环境下,智能空间中的物体表面及周围的物理空间实质上构成了一个连续、立体的交互通道。可以将智能空间视为由数字物体表面所包裹的一个统一连续的物理交互空间。数字表面可以作为交互空间的界面接口,是连续交互空间的物理边界,同时也是不可缺少的组成部分。 目前,接触式的多点触控技术已经较为成熟,得到了广泛应用,但随着计算设备的微型化、可穿戴化,触控交互技术受设备体积限制的局限性也在逐渐显现。而在视觉交互技术领域,Kinect、Leap Motion等消费电子产品的出现,使得三维空间内的人体姿态、手势交互技术成为了一种现实的可能,具有广泛的应用前景。 因此,将接触式的触控交互技术与非接触式视觉交互技术相结合,将交互空间由接触式二维平面延伸到非接触式三维的物理空间,可以建立一个涵盖数字表面及三维空间的统一连续的物理交互空间,实现空中姿势与表面触控姿势的统一。同时,空间姿态、表面触控姿态信息可以互为彼此的交互上下文信息,有利于实现物理空间与信息空间的无缝过渡与融合,为实现三维化、智能化、多通道化的自然人机交互提供实现基础。 本文首先对多通道交互技术、姿势交互技术的研究现状进行了分析调研,建立了将数字表面与三维空间相结合的,包括空中层、表面层、混合层的连续空间模型,在此基础之上,提出了交互动作的表面轨迹与空中轨迹相结合的混合交互姿势,建立了连续交互空间的层次处理模型。然后,展开空间融合方法的研究,构建了基于非对称双面棋盘图案的交互空间坐标匹配算法。接着,提出了通用化的算法框架,并采用了轻量级、更易于实现及应用于移动设备的模板匹配的识别方法,设计并实现了可适用于平面姿势、空间姿势及混合交互姿势的通用识别算法。最后,建立了平台化的软硬件系统框架,与科研项目相结合,设计并实现了混合手势、压力手势、人体运动姿态数据采集系统应用,通过相应实验验证了系统平台的可行性及应用算法的可用性。 本文的创新点如下: 1.基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中姿势及触控姿势的特性及优点的混合姿势输入方法;基于连续交互空间的概念,将混合交互姿势,空中姿势、表面触控姿势进行统一,建立了包括空中层、表面层、混合层的连续交互空间模型及分层处理模型。 2.构建了连续交互空间中多坐标系的自适匹配方法。设计了可双面打印制作的非对称双面棋盘标定图案,通过相应的自适应匹配算法,自动匹配标定图案的空间对应角点,实现多角度相机之间,多相机与数字表面之间的三维、二维空间坐标系匹配。并通过图案误差校正算法提高匹配精度,降低了对标定图案打印精度的要求。 3.针对连续交互空间的人体姿势识别,构建了通用性的算法识别框架。基于归一化的连续交互空间时间一空间数据流输入,对轻量级的$1二维平面手势识别算法进行了扩展及改进,将其扩展到了附带多通道信息的三维空间中空中层、表面层、混合层姿势识别。提出了一种基于投影的单次旋转姿势匹配识别方法,通过矩阵奇异值分解,计算归一化姿势与模板之间的最优旋转矩阵,经过一次刚体转置即可完成与姿势模板的匹配度计算。