随着计算机硬件和人工智能的发展,人机交互从早期的命令行、键鼠交互发展到近些年出现的语音交互、手势交互、脑机接口等,越来越自然化、智能化、人性化。本文研究了一种基于普通纸笔的投影交互方法,该方法结合了基于纸笔隐喻的交互方式与投影交互的优点,使用交互命令字作为交互手段,同时为了提高手写体识别精度,将KNN算法与卷积神经网络结合,实现了手写体的自适应识别。经实验评估和用户调查,该交互方法舒适自然,具有较强的实用性。本文的研究重点如下:1.交互命令字的设计。基于纸笔隐喻的交互方式常使用笔手势作为交互手段,但笔手势存在着语义不够直观、容易遗忘等问题。为了解决上述问题和丰富基于纸笔隐喻的交互方式的交互手段,本文提出了交互命令字,即表明交互意图的特殊字符或单词。通过使用交互命令字,用户可以更加直接地表达交互意图。经实验评估,交互命令字在直观性、可拓展性等方面优于笔手势。2.桌面场景下的文本检测算法。为了检测用户书写的交互命令字,本文尝试了两种方法。第一种方法是基于图像处理的文本行检测算法,该方法借助纸张上的3个位置探测标识来定位书写区域,然后使用投影法最终得到文本行。第二种方法是CTPN文本检测算法,该算法使用细粒度文本候选框检测文本片段,同时引入RNN提取文本序列上下文信息,实现了精准鲁棒的检测结果。实验结果表明,基于图像处理的文本检测算法在精确率、召回率和F-Score方面略逊于CTPN文本检测算法,但实时性远远好于后者。3.自适应手写体识别算法。首先,本文将自建数据集与NIST SD 19数据集进行融合,为准确鲁棒的手写体识别算法做好了数据准备。接下来探究了KNN算法和卷积神经网络针对手写体识别问题的优点和缺点,在此基础上提出了CNN提取图像特征、KNN将特征分类的方法,既利用了CNN强大的特征自动提取能力,又发挥了KNN不需要模型训练的特点,实现了手写体的自适应识别。实验结果表明,本文所提的自适应手写体算法识别准确率在98%以上,并且可以随用户的使用更加精准。4.基于可用性的交互方式评估。在所提交互方式的指导下,本文实现了一个原型系统,并对其进行评估以验证交互方式是否达到预期,并根据评估结果指导交互方式的进一步优化。本文主要从可用性出发,提出了使用易学习性、趣味性、舒适性、易操作性和可靠性五个方面来评估交互方式,并设计了调查问卷进一步了解交互方式的趣味性。评估结果表明,本文所提的交互方式具有较好的可用性。