论文部分内容阅读
[摘要]介绍了C4DM乐器增强实验室的部分项目，主要包括对传统乐器的性能进行延展的科学技术，同时涵盖新型声音接口及创造性音乐表演分析等相关研究。
[关键词]乐器科技；乐器增强；电子乐器；传感技术
文章编号：10.3969/j.issn.1674—8239.2016.04.010
所谓“乐器增强”，是指传统乐器的自身特性被传感器、声音制作技术或新型人机交互等现代科技手段所延展的新型乐器。伦敦大学玛丽女王学院数字音乐中心（Centre for Digital Music，简称C4DM）的乐器增强实验室（Augmented Instruments Laboratory）。在乐器增强方面开展了多项研发，其大多数项目都是基于专业演奏家在传统乐器上的表演技法，合理地进行开发以增强音乐表现力，同时致力于声音合成、音乐接口和音乐表演分析等相关研究。本文将对实验室已完成或正在研发的项目加以介绍。
1.磁动力钢琴
传统钢琴通过机械传导的榔头击弦而发音，演奏者在触键后便失去了对该音符的控制。而磁动力钢琴（Magnetic Resonator Piano，图1）在维持传统三角钢琴声学性能的同时，通过在琴弦上方设置电磁驱动器（图2），使演奏者实现控制钢琴持续发声的效果，甚至在触键后改变该音符的强弱、音高和音色，扩展了音乐表现力。这是因为每个琴键上方的光学传感器（图3）相当于一个扫描仪，在不影响演奏者演奏的条件下感知其触键位置与方式，随时捕捉琴键角度的变化，特定的角度变化模式可映射为新型钢琴触键法，从而产生新的音响效果。例如，非常缓慢地按键，可以产生从无声到逐渐变强的效果（crescendo）；在触键后振荡，指尖使压力规律变化可以产生颤音效果（vibrato）；连续轻触琴键表面，可以激发音符滑奏至其泛音列等等。
2.Touch l（evs
TouchKeys相比于其他的键盘类乐器，通过电容式触控感应提供一种比光学传感器更普适且更敏感的触键捕捉技术。其普适性在于它可以安置在任何标准型号的声学或电子键盘乐器上，其敏锐度在于对指尖位置的高分辨率测量。在200Hz的采样率下，每个琴键上触键位置或面积的变化会改变电容的大小，该数值变化可通过USB传输到计算机的软件程序中生成OSC和MIDI信息，从而更广泛地被其他声音合成器软件利用，映射为更加富于表现力的声音效果。与此同时，Touchkeys实时量化演奏家触键技巧的功能，可辅助音乐学家对钢琴触键法的研究（图4）。
3.电子风笛
苏格兰高地风笛通常被视为一种不易掌握的传统乐器，一般需要半年至一年的时间来训练演奏者熟悉吹奏法及特定的主音与装饰音指法。如何利用现代科技来辅助并加速训练过程，便成为电子风笛项目的主要目的。风笛在结构上一般包括吹管（blow pipe）、气囊（bag）、演奏管（chanter）和旋管（drone），商用的电子风笛如DegerPipes、TechnoPipes和Redpipes，均利用电容触控开关检测演奏管上由手指控制的孔洞开闭，然而无法精确地反映开与闭之间的动态变化。乐器增强实验室研发的电子风笛辅助训练系统利用红外传感技术可捕捉手指在演奏管上的连续变化，并通过专用的软件程序录制及分析演奏过程（图5）；分析结果既可以帮助演奏者规避错误的练习方法，也可辅助职业演奏家对演奏者进行远程教学。
4.对传统小提琴的多态感知
低成本的光学传感器不仅能应用在前文所述的琴键角度感应，也能置于琴弓的弓杆上通过测量弓杆与弓毛间的距离变化来追踪小提琴运弓压力的变化（图6）。与此同时，电阻式传感器以不改变小提琴外观及性能、不影响小提琴手演奏的方式安置在琴板上，从而检测左手按弦的位置变化（图7），这对于音乐信息检索领域内的音高实时检测任务起到显著的辅助作用。例如，小提琴发出192Hz的低音G需要5.2ms来完成一个完整的波长，此时若仅仅基于音频的波形变化做检测，不但需要注意加窗处理带来的进一步延迟，还要考虑泛音频率对算法识别准确度的影响，而加以基于传感器的信号，则能在短时间内通过指尖的位置估算基频，因此在多态感知的条件下进行小提琴音高实时检测可缩短延时并提高正确率。
5.黑客乐器与Bela平台
上述乐器所涉及的增强技术既有对声音表现力的拓展，也有对音乐信息检索功能的协助，既能够满足艺术家更丰富的创造力，也服务于提高初学者的练习效率。其实“以不同于乐器设计初衷的方式来演奏乐器”的现象非常普遍，如爵士萨克斯风乐手的滑音技巧、电吉他的失真效果等，甚至有演奏者改动乐器本身的物理特性来实现自己希望的声音效果。各种各样新奇的电子乐器应运而生，但其复杂的设计并不能让演奏者随意地改动，因此黑客乐器项目希望为演奏者提供一个更易于实现改动的平台，Bela便由此而生（图8）。
Bela在一个单独且完备的包中提供立体声音频信号、模拟和数字I/O，是一种高性能超低延迟（低至1 ms）的嵌入式计算平台，其本身结合了BeagleBone Black开发板的时间精确性，并与一个微控制器连接。使用者可通过基于浏览器的板载编译器进行c++编程，并且能在浏览器的示波器中实时查看和调试音频与传感器信号；或者使用Pure Data设计传感器与音频间的交互，再将其用Heavy Audio Tools编译为可在Bela中运行的代码。Bela平台对传感器与音频之间交互的增强，让艺术家可以更直观地开发具有个人特色的电子乐器，如The D-Box（图9），演奏者对盒子六面的接触方式以数字或模拟信号的形式输入到Bela中，通过事先写入开发板的程序计算出声音效果进行输出。
音乐的多样性始终在拓展演奏者与乐器之间的交互方式，各种乐器增强技术对传统乐器研究提供了量化演奏技法的方式，进而为音乐家更深层地理解音乐表现力提供了更大的可能性。无论是对传统乐器的解密，还是对新型乐器的开发，只要音乐不停，科学研究便不会休止。
作者简介：
粱贝茨，本科毕业于天津大学集成电路设计与集成系统专业，现于伦敦大学玛丽女王学院媒体与艺术科技专业攻读博士学位，主要研究方向为语义音频、演奏家与乐器交互方式的多态传感与量化。主要参与项目有：可穿戴技术的研究、音乐可视化纪录片的制作、英国联合教堂管风琴项目的APP开发、钢琴踏板传感器的设计与钢琴家动作捕捉等。
[关键词]乐器科技；乐器增强；电子乐器；传感技术
文章编号：10.3969/j.issn.1674—8239.2016.04.010
所谓“乐器增强”，是指传统乐器的自身特性被传感器、声音制作技术或新型人机交互等现代科技手段所延展的新型乐器。伦敦大学玛丽女王学院数字音乐中心（Centre for Digital Music，简称C4DM）的乐器增强实验室（Augmented Instruments Laboratory）。在乐器增强方面开展了多项研发，其大多数项目都是基于专业演奏家在传统乐器上的表演技法，合理地进行开发以增强音乐表现力，同时致力于声音合成、音乐接口和音乐表演分析等相关研究。本文将对实验室已完成或正在研发的项目加以介绍。
1.磁动力钢琴
传统钢琴通过机械传导的榔头击弦而发音，演奏者在触键后便失去了对该音符的控制。而磁动力钢琴（Magnetic Resonator Piano，图1）在维持传统三角钢琴声学性能的同时，通过在琴弦上方设置电磁驱动器（图2），使演奏者实现控制钢琴持续发声的效果，甚至在触键后改变该音符的强弱、音高和音色，扩展了音乐表现力。这是因为每个琴键上方的光学传感器（图3）相当于一个扫描仪，在不影响演奏者演奏的条件下感知其触键位置与方式，随时捕捉琴键角度的变化，特定的角度变化模式可映射为新型钢琴触键法，从而产生新的音响效果。例如，非常缓慢地按键，可以产生从无声到逐渐变强的效果（crescendo）；在触键后振荡，指尖使压力规律变化可以产生颤音效果（vibrato）；连续轻触琴键表面，可以激发音符滑奏至其泛音列等等。
2.Touch l（evs
TouchKeys相比于其他的键盘类乐器，通过电容式触控感应提供一种比光学传感器更普适且更敏感的触键捕捉技术。其普适性在于它可以安置在任何标准型号的声学或电子键盘乐器上，其敏锐度在于对指尖位置的高分辨率测量。在200Hz的采样率下，每个琴键上触键位置或面积的变化会改变电容的大小，该数值变化可通过USB传输到计算机的软件程序中生成OSC和MIDI信息，从而更广泛地被其他声音合成器软件利用，映射为更加富于表现力的声音效果。与此同时，Touchkeys实时量化演奏家触键技巧的功能，可辅助音乐学家对钢琴触键法的研究（图4）。
3.电子风笛
苏格兰高地风笛通常被视为一种不易掌握的传统乐器，一般需要半年至一年的时间来训练演奏者熟悉吹奏法及特定的主音与装饰音指法。如何利用现代科技来辅助并加速训练过程，便成为电子风笛项目的主要目的。风笛在结构上一般包括吹管（blow pipe）、气囊（bag）、演奏管（chanter）和旋管（drone），商用的电子风笛如DegerPipes、TechnoPipes和Redpipes，均利用电容触控开关检测演奏管上由手指控制的孔洞开闭，然而无法精确地反映开与闭之间的动态变化。乐器增强实验室研发的电子风笛辅助训练系统利用红外传感技术可捕捉手指在演奏管上的连续变化，并通过专用的软件程序录制及分析演奏过程（图5）；分析结果既可以帮助演奏者规避错误的练习方法，也可辅助职业演奏家对演奏者进行远程教学。
4.对传统小提琴的多态感知
低成本的光学传感器不仅能应用在前文所述的琴键角度感应，也能置于琴弓的弓杆上通过测量弓杆与弓毛间的距离变化来追踪小提琴运弓压力的变化（图6）。与此同时，电阻式传感器以不改变小提琴外观及性能、不影响小提琴手演奏的方式安置在琴板上，从而检测左手按弦的位置变化（图7），这对于音乐信息检索领域内的音高实时检测任务起到显著的辅助作用。例如，小提琴发出192Hz的低音G需要5.2ms来完成一个完整的波长，此时若仅仅基于音频的波形变化做检测，不但需要注意加窗处理带来的进一步延迟，还要考虑泛音频率对算法识别准确度的影响，而加以基于传感器的信号，则能在短时间内通过指尖的位置估算基频，因此在多态感知的条件下进行小提琴音高实时检测可缩短延时并提高正确率。
5.黑客乐器与Bela平台
上述乐器所涉及的增强技术既有对声音表现力的拓展，也有对音乐信息检索功能的协助，既能够满足艺术家更丰富的创造力，也服务于提高初学者的练习效率。其实“以不同于乐器设计初衷的方式来演奏乐器”的现象非常普遍，如爵士萨克斯风乐手的滑音技巧、电吉他的失真效果等，甚至有演奏者改动乐器本身的物理特性来实现自己希望的声音效果。各种各样新奇的电子乐器应运而生，但其复杂的设计并不能让演奏者随意地改动，因此黑客乐器项目希望为演奏者提供一个更易于实现改动的平台，Bela便由此而生（图8）。
Bela在一个单独且完备的包中提供立体声音频信号、模拟和数字I/O，是一种高性能超低延迟（低至1 ms）的嵌入式计算平台，其本身结合了BeagleBone Black开发板的时间精确性，并与一个微控制器连接。使用者可通过基于浏览器的板载编译器进行c++编程，并且能在浏览器的示波器中实时查看和调试音频与传感器信号；或者使用Pure Data设计传感器与音频间的交互，再将其用Heavy Audio Tools编译为可在Bela中运行的代码。Bela平台对传感器与音频之间交互的增强，让艺术家可以更直观地开发具有个人特色的电子乐器，如The D-Box（图9），演奏者对盒子六面的接触方式以数字或模拟信号的形式输入到Bela中，通过事先写入开发板的程序计算出声音效果进行输出。
音乐的多样性始终在拓展演奏者与乐器之间的交互方式，各种乐器增强技术对传统乐器研究提供了量化演奏技法的方式，进而为音乐家更深层地理解音乐表现力提供了更大的可能性。无论是对传统乐器的解密，还是对新型乐器的开发，只要音乐不停，科学研究便不会休止。
作者简介：
粱贝茨，本科毕业于天津大学集成电路设计与集成系统专业，现于伦敦大学玛丽女王学院媒体与艺术科技专业攻读博士学位，主要研究方向为语义音频、演奏家与乐器交互方式的多态传感与量化。主要参与项目有：可穿戴技术的研究、音乐可视化纪录片的制作、英国联合教堂管风琴项目的APP开发、钢琴踏板传感器的设计与钢琴家动作捕捉等。