和体积庞大、价格昂贵的传统钢琴相比，基于计算机技术的纯软件式虚拟钢琴由于方便携带、功能齐全，逐渐成为人们了解、学习钢琴的一种工具。但是，该类虚拟钢琴没有专门的琴键载体，一般借助于键盘和鼠标完成弹奏操作，在界面的友好性和自然性方面已经不能满足用户的需求。为了有效地解决这个问题，本文中，将自制的纸质钢琴打印出来作为所需的琴键载体，通过双目立体视觉技术实现了指尖深度检测系统，将该系统与离线建模方法结合识别手指按下、释放琴键的动作，进而实现钢琴功能，完成了实时舒适的人机交互应用。本文的研究内容主要包括三个部分：第一，琴键位置确定。为提高实时检测效率，本文提出了一种离线建模方法确定琴键位置。在实时检测之前，对摄像头采集的图像进行相关预处理，得到封闭的白键边缘后，使用轮廓查找函数提取白键轮廓，获得白键的位置区域，然后由此计算出每个黑键以及钢琴键盘的位置区域。第二，指尖深度计算。首先，使用Matlab工具箱对左右摄像头标定，得到它们的像素焦距、光心距离。然后，采用椭圆肤色模型算法及基于最大类间方差的目标分割算法，提取出人手前景图，并基于改进的轮廓K向量算法检测前景图中的指尖位置，得到指尖视差。最后，根据双目立体视觉的测距公式，计算出指尖深度。第三，目标琴键识别及钢琴功能实现。当检测到指尖深度大于某一阈值，表明手指按在了琴键载体上，此时左摄像头图像中指尖点所在的琴键区域即为手指按下的目标琴键。以相邻帧图像的琴键信息变化识别琴键模态，最终实现钢琴功能。实验结果证明，本文设计的基于双目立体视觉技术的虚拟钢琴环境适应性强、精度高、使用方便，具有一定的可行性。