论文部分内容阅读
[摘要]随着“互联网+”的推进，计算机辅助教学得到了快速发展，由于钢琴教学的特殊性，使得钢琴教学还处在较为传统的模式，如何使用现有互联网技术辅助钢琴教学是现在钢琴教育研究的重点。本文主要介绍如何将增强现实技术应用到钢琴教学系统中，将乐谱通过投影输出到钢琴琴键上，方便演奏者实时观看，同时将演奏者的音频数据还原成乐谱进行系统指导或人工指导。
[关键词]增强现实技术；教学系统；钢琴
中图分类号：G6135
文献标志码：A
文章编号：1007-2233（2016）11-0030-03
近年来，高校信息化的发展作为高校自身发展一部分，越来越受到高校管理者的重视。[1]钢琴教学的研究在高校也异常火热，利用互联网技术辅助钢琴教学是钢琴教师从事钢琴教学的迫切需要。
以增强现实技术为基础的钢琴教学系统通过将虚拟琴键与实体钢琴键的信息集成，实现钢琴演奏者的实时交互性，并通过采集演奏者的音频数据，可以进行系统指导和人工指导。
本文在增强现实技术的基础开发，将乐谱转换在按琴键序直接投影到实体钢琴键上，来检测演奏者是否弹错，并通过分析演奏者音频数据，实现实时指导。
一、增强现实技术增强现实（Augmented Reality，AR）也称为混合现实，是指利用计算机技术，将虚拟物体实时地叠加到一个真实画面或空间，形成具有实时交互的三维图像画面，给用户带来更真实的体验与感受。[2]AR通过软硬件人机交互通道，从视觉、听觉、运动、触觉、味觉、嗅觉等方面建立一套感官刺激，与现实世界的感官融合，在现实世界中延伸出新的交互环境。[3]它借助计算机视觉技术、传感器技术和可视化技术、交互技术等将计算机生成的虚拟图像或其他信息有机地叠加到用户所看到的真实世界的场景中，包括视觉、听觉、嗅觉、触觉信息等，从而达到超越现实的感官体验。[4]增强现实技术实现一般框架，由四个部分组成：虚拟图形渲染、现实实景采集、计算机虚实图形融合和显示输出，如图1所示。
虚拟图形渲染将虚拟景物通过图形渲染技术进行三维呈现，现实实景采集通过图像采集设备（如3D摄像头）采集实体场景，计算机虚实图形融合利用计算机视觉技术将虚拟景物与实景在立体空间通过本给定位进行融合，显示输出将融合后场景进行输出。
二、系统架构
基于增强现实技术的钢琴教学系统Piano AR架构从下往上分别是：数据采集层、数据处理层、行为指导层和输出层，如图2所示。
（1）数据采集层：包括图像采集和音频采集。图像采集，通过多台3D摄像机采集手指按钢琴键的位置、深浅及脚部动作；音频采集，通过全向麦克风采集钢琴演奏音。
（2）数据处理层：包括对钢琴音律和钢琴谱的建模、音频的处理和分析。
（3）行为指导层：包括系统指导和人工指导。系统指导，由数据处理层将指导信息输出到输出层；人工指导，由远程老师进行人工指导输出信息到输出层。
（4）输出层：包括投影界面和音频输出。投影界面，将图形界面投影到钢琴键面上；音频输出，并播放所需的音频流或音频文件。
三、钢琴音律和钢琴谱建模Piano AR系统输出层的投影界面输出的影像钢琴键面与实体钢琴的钢琴键面一一对应，如图3所示，通过3D摄像机采集到实体钢琴琴键界面，将琴键界面传送到计算机屏幕上，计算机在屏幕上建立一个二维坐标，将虚拟的钢琴琴键界面与实体钢琴琴键界面进行重叠，进而可以通过3D摄像机采集演奏人员的弹钢琴琴键的动作，钢琴琴键建模，如图4所示。
接下来采集钢琴演奏的音频数据，并对音频数据进行分析，来识别音频的音高数据。该音频处理的方法已申请专利，申请号为：2016103808743，如图5所示。
音高数据的采集是通过基音频率识别器，基音频率识别器中含多种音高频率算法，比如小波变换法、谐波峰值法、倒谱法和并行处理法等来获取音高数据，依据十二平均律来计算不同钢琴键频率与对应音高频率进行比较，可以得到钢琴演奏的音频在五线谱的位置，图6为十二音平均律频率值示意图。
从音频数据到乐谱认识，整个过程可以分为三个阶段：音频数据准备阶段、音符识别阶段和音名识别阶段，如图7所示。音频数据准备阶段通过音频采集单元，完成音频数据采集、消除噪音等预处理工作；音符识别阶段通过基音频率识别器获得音高数据；音名识别阶段根据识别的音高信息与依据十二平均律来计算与之对应的音名。
四、总 结本文提出一种将增强现实技术应用于钢琴教学Piano AR系统，利用投景技术将虚拟琴键投景到实体琴键上，通过3D摄像机捕捉演奏者按琴键是否与虚拟琴键匹配，通过对采集音频数据进行分析，根据需求进行系统指导或人工指导。
本文下一步要做的研究是实现多个演奏者通过AR进行协调，同步进行钢琴演奏。
[参 考 文 献]
[1]胡 锐，胡伏原，陈丽春.基于Hadoop的高校公共数据平台的构建[J].苏州科技学院学报，2015（03）：52—53
[2]宋燕燕，曹效业，周 灵.移动增强现实技术在互动展示中的应用研究[J/OL].计算机技术与发展，2016（09）.http：//www.cnki.net/kcms/detail/61.1450.TP.20160823.1359.056.html
[3]王德宇，宋述强，陈 震.增强现实技术在高校创客教育中的应用[J/OL].中国电化教育，2016（10）.http：//www.cnki.net/kcms/detail/11.3792.20161010.1149.038.html.
[4] 孙 源，陈 靖.智能手机的移动增强现实技术研究[J].计算机科学，2012（s1）：493—498
（责任编辑：邢晓萌）
[关键词]增强现实技术；教学系统；钢琴
中图分类号：G6135
文献标志码：A
文章编号：1007-2233（2016）11-0030-03
近年来，高校信息化的发展作为高校自身发展一部分，越来越受到高校管理者的重视。[1]钢琴教学的研究在高校也异常火热，利用互联网技术辅助钢琴教学是钢琴教师从事钢琴教学的迫切需要。
以增强现实技术为基础的钢琴教学系统通过将虚拟琴键与实体钢琴键的信息集成，实现钢琴演奏者的实时交互性，并通过采集演奏者的音频数据，可以进行系统指导和人工指导。
本文在增强现实技术的基础开发，将乐谱转换在按琴键序直接投影到实体钢琴键上，来检测演奏者是否弹错，并通过分析演奏者音频数据，实现实时指导。
一、增强现实技术增强现实（Augmented Reality，AR）也称为混合现实，是指利用计算机技术，将虚拟物体实时地叠加到一个真实画面或空间，形成具有实时交互的三维图像画面，给用户带来更真实的体验与感受。[2]AR通过软硬件人机交互通道，从视觉、听觉、运动、触觉、味觉、嗅觉等方面建立一套感官刺激，与现实世界的感官融合，在现实世界中延伸出新的交互环境。[3]它借助计算机视觉技术、传感器技术和可视化技术、交互技术等将计算机生成的虚拟图像或其他信息有机地叠加到用户所看到的真实世界的场景中，包括视觉、听觉、嗅觉、触觉信息等，从而达到超越现实的感官体验。[4]增强现实技术实现一般框架，由四个部分组成：虚拟图形渲染、现实实景采集、计算机虚实图形融合和显示输出，如图1所示。
虚拟图形渲染将虚拟景物通过图形渲染技术进行三维呈现，现实实景采集通过图像采集设备（如3D摄像头）采集实体场景，计算机虚实图形融合利用计算机视觉技术将虚拟景物与实景在立体空间通过本给定位进行融合，显示输出将融合后场景进行输出。
二、系统架构
基于增强现实技术的钢琴教学系统Piano AR架构从下往上分别是：数据采集层、数据处理层、行为指导层和输出层，如图2所示。
（1）数据采集层：包括图像采集和音频采集。图像采集，通过多台3D摄像机采集手指按钢琴键的位置、深浅及脚部动作；音频采集，通过全向麦克风采集钢琴演奏音。
（2）数据处理层：包括对钢琴音律和钢琴谱的建模、音频的处理和分析。
（3）行为指导层：包括系统指导和人工指导。系统指导，由数据处理层将指导信息输出到输出层；人工指导，由远程老师进行人工指导输出信息到输出层。
（4）输出层：包括投影界面和音频输出。投影界面，将图形界面投影到钢琴键面上；音频输出，并播放所需的音频流或音频文件。
三、钢琴音律和钢琴谱建模Piano AR系统输出层的投影界面输出的影像钢琴键面与实体钢琴的钢琴键面一一对应，如图3所示，通过3D摄像机采集到实体钢琴琴键界面，将琴键界面传送到计算机屏幕上，计算机在屏幕上建立一个二维坐标，将虚拟的钢琴琴键界面与实体钢琴琴键界面进行重叠，进而可以通过3D摄像机采集演奏人员的弹钢琴琴键的动作，钢琴琴键建模，如图4所示。
接下来采集钢琴演奏的音频数据，并对音频数据进行分析，来识别音频的音高数据。该音频处理的方法已申请专利，申请号为：2016103808743，如图5所示。
音高数据的采集是通过基音频率识别器，基音频率识别器中含多种音高频率算法，比如小波变换法、谐波峰值法、倒谱法和并行处理法等来获取音高数据，依据十二平均律来计算不同钢琴键频率与对应音高频率进行比较，可以得到钢琴演奏的音频在五线谱的位置，图6为十二音平均律频率值示意图。
从音频数据到乐谱认识，整个过程可以分为三个阶段：音频数据准备阶段、音符识别阶段和音名识别阶段，如图7所示。音频数据准备阶段通过音频采集单元，完成音频数据采集、消除噪音等预处理工作；音符识别阶段通过基音频率识别器获得音高数据；音名识别阶段根据识别的音高信息与依据十二平均律来计算与之对应的音名。
四、总 结本文提出一种将增强现实技术应用于钢琴教学Piano AR系统，利用投景技术将虚拟琴键投景到实体琴键上，通过3D摄像机捕捉演奏者按琴键是否与虚拟琴键匹配，通过对采集音频数据进行分析，根据需求进行系统指导或人工指导。
本文下一步要做的研究是实现多个演奏者通过AR进行协调，同步进行钢琴演奏。
[参 考 文 献]
[1]胡 锐，胡伏原，陈丽春.基于Hadoop的高校公共数据平台的构建[J].苏州科技学院学报，2015（03）：52—53
[2]宋燕燕，曹效业，周 灵.移动增强现实技术在互动展示中的应用研究[J/OL].计算机技术与发展，2016（09）.http：//www.cnki.net/kcms/detail/61.1450.TP.20160823.1359.056.html
[3]王德宇，宋述强，陈 震.增强现实技术在高校创客教育中的应用[J/OL].中国电化教育，2016（10）.http：//www.cnki.net/kcms/detail/11.3792.20161010.1149.038.html.
[4] 孙 源，陈 靖.智能手机的移动增强现实技术研究[J].计算机科学，2012（s1）：493—498
（责任编辑：邢晓萌）