论文部分内容阅读
【关键词】B格式 三维声场 方位感 杜比全景声
一.前言
2019年，四川广播电视台策划制作的VR（虚拟现实）纪录片《Panda with me》，正式上线。通过纪录成都大熊猫基地饲养员工作状态和大熊猫在保育室、户外活动等生活环境，以VR录制方式，360o全方位呈现在观众眼前，让配带VR眼镜的观众，获得身临其境的真实感觉（如图1所示）。
作为纪录片声音创作团队，我们通过三维全景声的制作，利用声音最大限度地真实还原大熊猫与饲养员的日常生活工作状态，让观众体会到原汁原味的音效体验。
VR纪录片的声音制作和传统纪录片类似，都包含前期录音和后期制作两个环节。除了与传统纪录片相类似的声音设计和录音、编辑、混录之外，VR纪录片的声音制作在工艺流程上，主要考虑如何拾取三维声场里的声音、后期制作时如何让声音和画面取得同步、如何处理声音的空间感、方位感等等。
耳机监听是VR纪录片声音还放的基本模式，因此，音频的后期制作，我们也是利用耳机监听来实现声像定位，通过头部相关传输函数（HRTF）编码，3D环绕声以两声道的虚拟环绕声形式重放出来，使声音不会随着观众头部的转动而转动，而是保持在与视频对应的方位上，给观众带来声音独立于耳机存在的幻觉。
二.前期拾音
在VR纪录中，对声音所处声场信息的展现比传统纪录片的要求更高，VR纪录片是采用Ambisonics方式录制前期全景声，再配以点、面MIC录制相应的突出声音音源。
全景声话筒录制熊猫现场声场的三维环境声，包括：观众声效、熊猫声效、饲养员的动效等同期声，值得注意一点，VR录像机的散热风扇声无法避免，在后期制作时，需进行降噪处理。
Ambisonics录音制式是一种球形（Full-sphere）的环绕声技术，经过处理后得到的输出信号称为B格式（B-format）。B格式包含4个通道的信息（WXYZ），其中，W：全方向信号，声音的空间感；X：声音前后深度；Y：声音左右宽度；Z：声音上下高度，以获得水平面和垂直面的三维信息，后期制作时，再解码成不同的方位信息（如图2所示）。
除了在熊猫基地现场直接拾取3D全景声之外，纪录片的同期录音出于纪录叙事的要求，往往还要补充更多的声音细节。比如：利用超指向性话筒、领夹式话筒等，录制熊猫吃竹声、饲养员说话以及走路的声音等等。后期制作时，这些单声道声音素材需要进行空间化处理，使之成为来自三维空间的声音。
三.声音的编辑与混录
VR声音后期制作软件，需支持多路母线输出的音频工作站以及能完成三维空间声音处理的插件。常用的音频工作站有Pro Tools HD、Nuendo、Reaper、Pyramix等，我们使用Pro Tools HD 12编辑软件，用于VR纪录片后期音频制作，插件选用的是B360。
VR纪录片制作声音时，其实就是为了能够听到来自更多方向的声音，混音师在以听者为中心的整个球形区域内，来安排声音的声像（PAN）位置（如图3所示）。
VR纪录片后期制作，很显然是不可能带着VR头盔完成声音编辑的。因此，用于声音编辑的3D参考视频，最好是将球形视频展开之后，导入Pro Tools视频轨，确定画面中声音方位，使三维声音编辑变得非常直观、灵活，后期制作过程中，还可以实时了解还放效果。Pro Tools不仅能进行播放时间码的同步，还能进行音视频视听角度的同步（如图4所示）。
在确定某一方向基准后，画面内容与位于球形区域中心的听者之间的相对关系也是确定的，这就跟上述的双声道立体声、环绕声定位方式差不多了，只不过多了声音的在垂直方向上的高度信息。我们通过水平转动（Pan）和垂直转动（Tilt）两个参数，就能控制声音在视角360度球形范围的朝向，对声源进行空间化处理，以及通过声压级衰减来确定声源的距离，以获得声音的方位感和空间感。
在音视频视听角度的同步的基础上，我们使用B360插件，将听音方位参数锁定在一起。两者在360°范围内的变化完成了三维空间里的视听角度变化。参数锁定之后，音/视频的视听角度就能实现同步转换了，空间显示界面能直观地体现出这种变化。
因为没有杜比VR全景声工具的VR Renderer，无法实时渲染出带头部跟踪的监听效果。目前，我们先生成DEMO样片后，再结合VR头盔显示设备，来判断三维声音的空间感和方位感是否准确。经过多次测试试验，我们在Pro Tools时间线上所监听的三维全景声，与配戴VR头盔监听到的三维全景声空间感、方位感基本一致。
四.监听及声音导出
VR纪录片多采用耳机监听，因此要对工作站的监听信号，是通过HRTF函数仿真计算，使耳机中的声音重现，声音在三维空间中所处的位置，当听者朝向某一方向，来自各个方向的声音与听者头部之间的关系是确定的，并模拟出声音从某一方向传来以及移动变化时的效果，并实时输出给耳机监听。
以熊猫基地环境声制作为例，常见的做法是用一个四声道声音作为环境声铺底，四条音轨分别映射到L、R、Ls、Rs四条声道上；同时，加上在一定范围内随机位置触发的随机音响效果来体现环境声的方位感。在此基础上，可以通过饲养员的脚步声、熊猫的叫声和吃竹声、流水声等点、线状的单声道声源音效，来增加头部转向时，环境声变化的丰富程度（如图5所示）。
VR紀录片编辑与混录完成之后，需要导出声音母版，我们选择的母版格式是Ambisonics X（WYZX标准）格式，是4通道的ambisonics数据流。将该数据流解码之后进行HRTF仿真，并轨生成一个Wave文件，就获得了用于耳机监听的双耳信号。
五.结束语
通过这次VR纪录片《Panda with me》全景声制作，我们积累了丰富的VR纪录片音频制作经验，随着VR纪录片的发展，我们还可选择杜比全景声软件（Dolby Atmos for VR）等相关的制作工具，和Pro Tools HD同步在一起，制作VR全景声，通过声像定位（3D panning）和三维空间感处理（3D reverb），进一步完善和强化现有的制作工具功能，实现对VR纪录片声音的空间定位和电平动态，进行实时监看监听。
同时，我们还可借鉴VR游戏声音制作的工具和制作方式，应用到VR纪录片声音的制作中，实现从前期拾音、后期编辑混录到母版输出及平台播放的一体化解决方案，为声音的表现提供更加多元而便捷的途径。B&P
一.前言
2019年，四川广播电视台策划制作的VR（虚拟现实）纪录片《Panda with me》，正式上线。通过纪录成都大熊猫基地饲养员工作状态和大熊猫在保育室、户外活动等生活环境，以VR录制方式，360o全方位呈现在观众眼前，让配带VR眼镜的观众，获得身临其境的真实感觉（如图1所示）。
作为纪录片声音创作团队，我们通过三维全景声的制作，利用声音最大限度地真实还原大熊猫与饲养员的日常生活工作状态，让观众体会到原汁原味的音效体验。
VR纪录片的声音制作和传统纪录片类似，都包含前期录音和后期制作两个环节。除了与传统纪录片相类似的声音设计和录音、编辑、混录之外，VR纪录片的声音制作在工艺流程上，主要考虑如何拾取三维声场里的声音、后期制作时如何让声音和画面取得同步、如何处理声音的空间感、方位感等等。
耳机监听是VR纪录片声音还放的基本模式，因此，音频的后期制作，我们也是利用耳机监听来实现声像定位，通过头部相关传输函数（HRTF）编码，3D环绕声以两声道的虚拟环绕声形式重放出来，使声音不会随着观众头部的转动而转动，而是保持在与视频对应的方位上，给观众带来声音独立于耳机存在的幻觉。
二.前期拾音
在VR纪录中，对声音所处声场信息的展现比传统纪录片的要求更高，VR纪录片是采用Ambisonics方式录制前期全景声，再配以点、面MIC录制相应的突出声音音源。
全景声话筒录制熊猫现场声场的三维环境声，包括：观众声效、熊猫声效、饲养员的动效等同期声，值得注意一点，VR录像机的散热风扇声无法避免，在后期制作时，需进行降噪处理。
Ambisonics录音制式是一种球形（Full-sphere）的环绕声技术，经过处理后得到的输出信号称为B格式（B-format）。B格式包含4个通道的信息（WXYZ），其中，W：全方向信号，声音的空间感；X：声音前后深度；Y：声音左右宽度；Z：声音上下高度，以获得水平面和垂直面的三维信息，后期制作时，再解码成不同的方位信息（如图2所示）。
除了在熊猫基地现场直接拾取3D全景声之外，纪录片的同期录音出于纪录叙事的要求，往往还要补充更多的声音细节。比如：利用超指向性话筒、领夹式话筒等，录制熊猫吃竹声、饲养员说话以及走路的声音等等。后期制作时，这些单声道声音素材需要进行空间化处理，使之成为来自三维空间的声音。
三.声音的编辑与混录
VR声音后期制作软件，需支持多路母线输出的音频工作站以及能完成三维空间声音处理的插件。常用的音频工作站有Pro Tools HD、Nuendo、Reaper、Pyramix等，我们使用Pro Tools HD 12编辑软件，用于VR纪录片后期音频制作，插件选用的是B360。
VR纪录片制作声音时，其实就是为了能够听到来自更多方向的声音，混音师在以听者为中心的整个球形区域内，来安排声音的声像（PAN）位置（如图3所示）。
VR纪录片后期制作，很显然是不可能带着VR头盔完成声音编辑的。因此，用于声音编辑的3D参考视频，最好是将球形视频展开之后，导入Pro Tools视频轨，确定画面中声音方位，使三维声音编辑变得非常直观、灵活，后期制作过程中，还可以实时了解还放效果。Pro Tools不仅能进行播放时间码的同步，还能进行音视频视听角度的同步（如图4所示）。
在确定某一方向基准后，画面内容与位于球形区域中心的听者之间的相对关系也是确定的，这就跟上述的双声道立体声、环绕声定位方式差不多了，只不过多了声音的在垂直方向上的高度信息。我们通过水平转动（Pan）和垂直转动（Tilt）两个参数，就能控制声音在视角360度球形范围的朝向，对声源进行空间化处理，以及通过声压级衰减来确定声源的距离，以获得声音的方位感和空间感。
在音视频视听角度的同步的基础上，我们使用B360插件，将听音方位参数锁定在一起。两者在360°范围内的变化完成了三维空间里的视听角度变化。参数锁定之后，音/视频的视听角度就能实现同步转换了，空间显示界面能直观地体现出这种变化。
因为没有杜比VR全景声工具的VR Renderer，无法实时渲染出带头部跟踪的监听效果。目前，我们先生成DEMO样片后，再结合VR头盔显示设备，来判断三维声音的空间感和方位感是否准确。经过多次测试试验，我们在Pro Tools时间线上所监听的三维全景声，与配戴VR头盔监听到的三维全景声空间感、方位感基本一致。
四.监听及声音导出
VR纪录片多采用耳机监听，因此要对工作站的监听信号，是通过HRTF函数仿真计算，使耳机中的声音重现，声音在三维空间中所处的位置，当听者朝向某一方向，来自各个方向的声音与听者头部之间的关系是确定的，并模拟出声音从某一方向传来以及移动变化时的效果，并实时输出给耳机监听。
以熊猫基地环境声制作为例，常见的做法是用一个四声道声音作为环境声铺底，四条音轨分别映射到L、R、Ls、Rs四条声道上；同时，加上在一定范围内随机位置触发的随机音响效果来体现环境声的方位感。在此基础上，可以通过饲养员的脚步声、熊猫的叫声和吃竹声、流水声等点、线状的单声道声源音效，来增加头部转向时，环境声变化的丰富程度（如图5所示）。
VR紀录片编辑与混录完成之后，需要导出声音母版，我们选择的母版格式是Ambisonics X（WYZX标准）格式，是4通道的ambisonics数据流。将该数据流解码之后进行HRTF仿真，并轨生成一个Wave文件，就获得了用于耳机监听的双耳信号。
五.结束语
通过这次VR纪录片《Panda with me》全景声制作，我们积累了丰富的VR纪录片音频制作经验，随着VR纪录片的发展，我们还可选择杜比全景声软件（Dolby Atmos for VR）等相关的制作工具，和Pro Tools HD同步在一起，制作VR全景声，通过声像定位（3D panning）和三维空间感处理（3D reverb），进一步完善和强化现有的制作工具功能，实现对VR纪录片声音的空间定位和电平动态，进行实时监看监听。
同时，我们还可借鉴VR游戏声音制作的工具和制作方式，应用到VR纪录片声音的制作中，实现从前期拾音、后期编辑混录到母版输出及平台播放的一体化解决方案，为声音的表现提供更加多元而便捷的途径。B&P