传统的人机交互以机器为中心,人必须学习和适应一系列预先为机器设定的规则。为摆脱这些规则的束缚,出现了以人为中心的自然人机交互,要求机器必须具备理解人类行为方式的能力,而机器学习技术正是实现这一目标的不二选择。人机交互过程包括三个重要步骤,按照发生的先后顺序依次为：人机之间信息的输入输出,人对机器的操控,机器对操控的反馈。本文针对这三个步骤,对基于机器学习的自然人机交互方式进行研究,取得了如下创新成果：第一,传统的人机之间信息输入输出通过各种接口或严格定义的动作完成,步骤繁冗而难以掌握,对用户操作有较高要求,本文设计了使用“贴取”(stick)动作的信息交换方式Sticky。通过利用在线半监督学习算法,让Sticky能在线学习用户的动作特点,从而可在用户日常对设备采取的行为中判断出数据传输触发动作。实验表明Sticky获得了较高的传输触发动作的识别准确率。第二,现有的接触式操控方式需要人进行大量学习,且在大尺寸屏幕等应用场景中具有较大的局限性,本文提出了使用“抓”和“放”这两个手势的非接触式操控方式RemoteControl,用户可在三维空间中做出操控动作来完成大部分基础GUI操作。RemoteControl使用SVM和随机森林来从手部图像中识别出手的形状,实验结果表明RemoteControl的操控动作识别取得了较高的精确度。第三,因为机器不具备对人的身份的感知能力,所以现有的操控反馈无法满足不同人的偏好。针对目前身份识别方法还无法利用已有信息尽早识别出用户身份的缺陷,本文提出了渐进式身份识别方法SkeFace,采用骨骼和人脸这两种非侵入式生物特征,每当新特征出现时都进行一次分类并比较不同分类器的分类确信度。实验表明SkeFace能利用已获取的信息尽早地、准确地判断出用户身份。