产品或人机系统设计的最终目的都是为了帮助用户达成目标,并具有良好交互体验,因此获取用户的认知、行为、意图等数据对产品与人机系统的设计至关重要。虚拟现实系统因其高度沉浸性特征使得用户得以在产品研发阶段即能通过与虚拟产品进行自然交互,在获取用户与产品交互的认知与行为数据方面具有其他技术无法比拟的优势,也成为目前以及未来自然人机交互技术领域的研究热点。因此,本文构建了“认知-行为-环境”理论框架,并在此框架下重点研究了自然交互的虚拟现实系统(Natural Interaction Virtual Reality System,NIVRS)、用户认知、用户行为及其内部深层次的数学逻辑关系,提出基于认知任务的用户认知可视化评估模型并用于新产品的测试评估,以降低新产品研发成本、缩短研发周期。自然交互的前提是互相理解,而理解的关键在于对象本身能否被正确的表达。在人机交互系统中,系统理解用户的前提是用户的认知必须转化成便于系统理解的表达形式,即用户认知的形式化表达,为自然人机交互的建立奠定了理论基础。提出基于概念外延与模糊数学的表达方式把研究用户认知这个复杂对象转换成研究代表用户认知的因素集合,然后利用互联网文本挖掘技术以及模糊表达求解用户认知的因素集合及其隶属度,实现用户认知的数学表达与求解。用户认知是隐性的知识,难以窥探,而用户行为是可视化且能够用计算机语言进行赋值,建立用户认知与用户行为的精确映射关系,就可以通过捕捉用户行为来识别用户认知。人与系统的交互不同于人与人的交互,人与人的交互具有模糊性,而人对系统的操作行为必须是精确的,本文采用以下方法建立用户认知与用户行为的精确映射关系:(])以用户认知中的因素作为手势语义设计的映像,由于因素集已经求解,对应的手势集也被确定;(2)以特征值的方式对用户手势进行数学赋值,确定用户认知与用户行为的数学转换关系,实现了用户认知的可视化表达;(3)对基于特征值表达的手势进行训练并存入手势知识库以提高手势识別几率。在人机交互系统中,最终都以用户通过操作行为完成认知任务为目标,认知任务由具有时序的操作行为流组成,表达了用户最终的意图,自然手势操作是用户传达其认知最直接最真实的表达方法之一,系统通过探测用户自然手势,理解其行为,从而感知用户意图并做出决策。因此,本文提出基于认知任务的自然手势交互系统及其评估模型,基于认知任务的人机系统使得机器探测用户行为理解用户认知并进行高效决策成为可能。在技术支撑上,论文设计并开发了 NIVRS,主要体现在以下三个方面:(1)自然交互技术。解决了用户姿体信息、位置信息与交互信息等与虚拟深度空间环境的自然交互与数据通讯;(2)交互约束技术。解决了虚拟现实场景中的人体映射姿体与虚拟旋转体的捆绑交互约束以及虚拟环境中其它交互约束问题;(3)提出认知任务框架下基于摘的多准则系统决策方法(Entropy-based Multi-criteria System Decision-makingMethod,EMSDM),EMSDM把手势识别问题上升为系统决策问题,提高手势识别率与正确率。最后,本文构建了 NIVRS作为实验环境,在NIVRS环境下构建了虚拟家居用户场景并以其中的阿迪锅与智能冰箱这两个处于设计阶段的产品作为评估案例,通过用户执行认知任务,让系统识别用户行为从而理解用户认知,完成用户对这两个产品的认知与交互评估,找出产品的设计问题。该实验有效论证了本文所提出的用户认知的数学表达方法及其可视化评估。