论文部分内容阅读
摘要：军用电子沙盘展示系统以电子沙盘技术为依托，利用声光电设备结合全息投影、裸眼3D、虚拟现实等技术，通过图像矫正融合处理、声音拟合处理及光学投影技术，将军用试验训练态势通过网络技术、数据处理技术进行传输处理；通过信息接入、特效制作、显示处理转换为三维展示模型，通过投影技术投射于电子沙盘，展示试验训练态势；通过实时接收试验训练态势数据，实现试验训练过程的电子沙盘展示，并提供手势或者设备交互操作功能，实现立体、逼真的展示能力。
关键词：全息投影；裸眼3D；虚拟现实；图像矫正；三维建模
中图分类号：TP391文献标志码：A文章编号：1008-1739（2020）16-70-4
0引言
目前国内实时军用电子沙盘以电子屏展示，交互性及立体感不强、无法让指挥员有身临其境的感觉，在部队需求的驱动下，拟将市面上楼宇及展厅等立体展示技术与试验训练实时过程相结合，分析如何将楼宇、展厅等提前制作的视频动画转换软件，并结合部队训练态势展示需求，从试验训练数据接入、3D场景驱动、三维动态展示[1]及立体交互等方面综合分析，进行展示系统设计。
1國内外现状
由于国外的计算机技术发展较早，特别是欧美国家的信息技术水平在早期相对于其他国家就己经处于领先地位，因此他们较早地就把电子沙盘应用到军事领域。比如美国的野外炮兵训练智能导航虚拟沙盘间，在世界上都处于领先水平。
随着我国科学技术的发展，电子沙盘设计技术也得到了相对较快的发展，在军事领域、教育领域、地理领域、农业领域及商业领域等广泛应用，技术也不断更新进步，电子沙盘仿真和虚拟技术也越来越成熟。国防科技大学信息系统工程重点实验室燕厚仪和张国华等人就提出了基于多智能体的新型交互式系统电子沙盘。这种电子沙盘是一种融合了多点触摸、体感交互、虚拟现实及增强现实等多项技术的新型电子沙盘[2]，具有实现交互系统中的多人、多设备、多通道的特点，使人与电子沙盘的交互能力大大提高。
伴随着技术的发展，国内外也出现了众多的沙盘开发平台，如Skyline，OSG，Delta3D，Vega Prime，Unity3D，ArcGIS[3]，ERDAS等。
ArcGIS和ERDAS虽提供了3D场景显示模块，但功能比较少，仅有漫游和有限的标注，没有提供二次开发接口。与Skyline，OSG，Delta3D比较起来，Vega Prime是最具有适应性和可扩展性的商业软件，用户能快速准确地开发出合乎要求的视景仿真应用程序。Unity3D是一个游戏开发环境且具有可视化编辑界面，可以进行动态的游戏模拟。
在军用电子沙盘系统领域，OSG得到广泛应用，通过影像叠加、三维建模等逼真地呈现地形地貌特点，通过装备的实物建模逼真地呈现装备外观，再结合定位信息，通过显示屏呈现训练态势。
但近年来随着全息投影、裸眼3D[4]、VR及AR等技术发展，全息投影、多媒体、L幕、幻影成像等电子沙盘在房地产、文物场馆、5D影院及舞台表演等领域广泛应用。
2方案设计
系统结合多折幕技术、裸眼3D技术、图像处理技术、数据接入处理技术及三维建模技术等构建沉浸式电子沙盘，结合军事需求，通过软硬件实现实时训练态势和作战态势的实时逼真展示[5]。
2.1系统组成
系统由硬件和软件设备组成，硬件设备以多点控制一体机、电子屏、投影设备、声光电设备和服务器设备为主，为展示提供硬件平台支持，折幕电子屏的效果图如图1所示。
2.1.1硬件组成
多点控制一体机与展示电子屏进行交互式操作，可控制电子屏显示内容的视角及场景远近等，用于三维立体态势展示等。服务器设备用于后台的图像处理、三维建模处理、信息接入、特效制作及交互处理等。
2.1.2软件组成
软件包括图像处理软件、三维建模软件、三维立体态势展示软件、信息接入处理软件和交互处理软件，是系统的核心，通过软件完成电子沙盘与各类军事训练系统的对接，实现筹划、指挥、训练过程的实时展示与交互。
2.2系统工作原理
系统的硬件为软件运行及显示提供支撑及显示平台，系统的工作原理如图2所示，流程如下：
①系统硬件设备开机工作，软件运行；
②利用三维建模软件进行显示地形及实物建模；
③信息接入处理软件接收军事训练信息系统的训练筹划和指挥态势信息，进行信息处理；
④三维立体态势展示软件读取训练区域信息获取三维地形，显示三维立体地形；
⑤读取训练筹划的兵力部署信息，读取三维实物模型进行显示；
⑥图像处理软件进行立体展示处理，通过电子屏展示；
⑦交互处理软件检测交互操作信息，获取交互要求，发送交互指令至三维立体态势展示软件执行操作；
⑧图像处理软件进行立体展示处理，通过电子屏同步展示；
⑨信息接入处理软件接收实时训练的雷达开辐射、电抗干扰、火炮射击、目标毁伤及炸点等作战信息，进行信息转换处理；
⑩三维立体态势展示软件对作战信息进行特效生成处理，输出展示特效指令；
2.3系统软件设计
2.3.1图像处理软件设计
图像处理软件主要用于图像矫正和图像拼接的处理。
图像矫正[6]用于处理相机的零平面和三维电子沙盘的显示平面不重合引起的场景倾斜及透视畸变问题。系统拟采用基于深度图像的渲染技术（Depth Image Based Rendering，DIBR）进行图像矫正，DIBR是结合参考视差图像和其深度图像，利用三维图像映射方程合成新的目标图像。
图像矫正的过程为：
①使用特征点检测算法提取图像特征；
②使用立体匹配算法查找2幅图像中同一物点的像素点位，进行视差处理；
③标定相机机位，建立三维图像映射方程；
④将二维图像中的像素点通过映射方程反向投影到三维空间。
图像拼接用于图像平滑和叠加处理，结合图像矫正，抵消多折屏幕拼接处、观看者视角倾斜等因素对展示效果的影响，达到视觉上流畅、逼真、立体的效果。
2.3.2三维建模软件设计
三维建模软件主要用于三维地形的建模和实物的三维建模，为三维立体态势展示软件提供基础元素。由地形三维建模和实物三维建模2个功能模块组成。
①地形三维建模包括地形数据的加载处理、三维模型构建、纹理生成、叠加显示和地形输出；
②实物三维建模包括实物模型编辑、实物模型文件导入导出和实物模型管理，实物类型包括装备、平台及显示特效等。
在三维地形建模中，因OSG及ARCGIS等三维展示软件的展示效果不够立体、逼真度也不够，因此系统拟通过Unity3D实现三维场景制作及展示，为提升系统的展示能力，在三维地形场景制作时，系统拟提供2种级别的三维地形场景。
第1种：适用于对地貌要求不高的模式，系统提供根据高程数据经过三维建模算法构建的三维网格地图，进行纯色的颜色渲染，输出为系统定义的地形格式，为三维立体态势展示软件展示提供地图，展示效果如图3（a）所示。
第2种：精细地貌模式提供逼真的地形纹理制作及生成功能，此模式需专业制作地形纹理，并对纹理进行贴图、平滑等处理，展示效果如图3（b）所示。
在实物建模中，为提升系统的灵活性，系统拟构建可视化的建模工具，用于雷达、电抗、辐射效果、区域及航路等实物的三维模型制作及导入导出。
2.3.3三维立体态势展示软件设计
三维立体态势展示软件[7]包括三维地形展示、实装三维展示、作战特效展示、附属信息特效展示及交互特效展示，读取信息接入处理的筹划信息、作战行动信息，对信息进行显示处理，通过多点控制一体机控制展示，展示流程如图4所示。
因三维地形以Unity3D进行建模处理，三维立体态势展示软件也以Unity3D进行开发，通过实现三维地形和实物的显示，读取筹划的训练区域、规划航路、兵力部署站位、辐射、干扰、射击及毁伤等信息，建立展示模型进行三维立体展示，并提供视角控制、地图场景拉近及拉远等操作，并支持附属信息的灵活展示。
2.3.4信息接入处理软件设计
信息接入处理软件通过各类通信服务，与其他军事训练指挥筹划系统的信息对接，提供信息的适配接入及信息转换能力，以适配电子沙盘系统的信息格式，将适配处理后信息通过控制设备进行展示，接入处理及展示流程如图5所示。
由基础通信服务、信息接入、信息适配处理及信息转换处理模块组成，用于对训练筹划及作战行动等信息的接入處理。
系统拟构建通用的通信服务组件，提供包括TCP、UDP组播、UDP单播、串口、CAN口、数据总线、共享数据库及文件数据库等多种通信功能，与外部军事训练系统对接，接收其待展示的各类数据信息，进行格式化转换用于展示。2.3.5交互处理软件设计
交互处理软件[8]用于响应交互操作，包括软件操作及手势操作等，通过检测处理操作类型和位置，实现对电子沙盘的交互控制。设备或手势接入系统通过交互处理软件处理立体交互操作和软件交互操作，手势检测算法检测手势，输出交互操作指令通过多点控制一体机控制显示，使观看者可在屏幕内区域空中操控显示，达到立体交互效果，处理流程如图6所示。软件交互即通过计算机屏幕操作软件达到交互的效果，此时系统是开发的网络架构，可便捷支持手持设备的接入及交互操作。
3应用
系统以部队实际需求为输入，以提升试验训练态势展示及军用电子沙盘展示能力为目的，通过训练筹划及态势展示系统构建训练场景，驱动电子沙盘展示态势显示，通过场景内雷达、飞机及导弹等装备动作，驱动电子沙盘实时同步展示，用于导演大厅等综合态势展示，同时可通过立体交互进行立体指挥和场景操作。
4结束语
系统以部队实际需求为输入，结合电子沙盘技术现状，可融合接入仿真系统、试验系统及训练系统等，通过网络实现信息的交互，将仿真态势、试验态势、训练态势等战场态势进行立体综合展示，并可通过手势实现交互式操作，进行三维立体指挥。该系统能够升级指挥方式、提升态势展示效果及扩展电子沙盘能力，可安装部署于指挥大厅、导演大厅等。
参考文献
[1]郑华东，于瀛洁，程维明.三维立体显示技术研究新进展[J].光学技术，2008，34（3）：426-430，434.
[2]王舒晓.浅析全息投影、裸眼3D、虚拟现实技术的区别[J].电子测试，2018（22）：107-109.
[3]侯欢欢.基于ArcGIS的电子沙盘生成方法研究[D].太原：太原理工大学，2010.
[4]王鸣.裸眼3D显示技术[J].中国传媒科技，2013（12）： 110-111.
[5]黄波.大地形3D电子沙盘系统的设计与实现[D].成都：电子科技大学，2009.
[6]吴磊.图像矫正在三维立体电子沙盘中的应用[D].北京：北京邮电大学，2018.
[7]荆路友.基于Unity的三维实时显示系统[D].北京：北京邮电大学，2018.
[8]凡春伟.交互式电子沙盘的设计与实现[D].合肥：安徽大学， 2016.
关键词：全息投影；裸眼3D；虚拟现实；图像矫正；三维建模
中图分类号：TP391文献标志码：A文章编号：1008-1739（2020）16-70-4
0引言
目前国内实时军用电子沙盘以电子屏展示，交互性及立体感不强、无法让指挥员有身临其境的感觉，在部队需求的驱动下，拟将市面上楼宇及展厅等立体展示技术与试验训练实时过程相结合，分析如何将楼宇、展厅等提前制作的视频动画转换软件，并结合部队训练态势展示需求，从试验训练数据接入、3D场景驱动、三维动态展示[1]及立体交互等方面综合分析，进行展示系统设计。
1國内外现状
由于国外的计算机技术发展较早，特别是欧美国家的信息技术水平在早期相对于其他国家就己经处于领先地位，因此他们较早地就把电子沙盘应用到军事领域。比如美国的野外炮兵训练智能导航虚拟沙盘间，在世界上都处于领先水平。
随着我国科学技术的发展，电子沙盘设计技术也得到了相对较快的发展，在军事领域、教育领域、地理领域、农业领域及商业领域等广泛应用，技术也不断更新进步，电子沙盘仿真和虚拟技术也越来越成熟。国防科技大学信息系统工程重点实验室燕厚仪和张国华等人就提出了基于多智能体的新型交互式系统电子沙盘。这种电子沙盘是一种融合了多点触摸、体感交互、虚拟现实及增强现实等多项技术的新型电子沙盘[2]，具有实现交互系统中的多人、多设备、多通道的特点，使人与电子沙盘的交互能力大大提高。
伴随着技术的发展，国内外也出现了众多的沙盘开发平台，如Skyline，OSG，Delta3D，Vega Prime，Unity3D，ArcGIS[3]，ERDAS等。
ArcGIS和ERDAS虽提供了3D场景显示模块，但功能比较少，仅有漫游和有限的标注，没有提供二次开发接口。与Skyline，OSG，Delta3D比较起来，Vega Prime是最具有适应性和可扩展性的商业软件，用户能快速准确地开发出合乎要求的视景仿真应用程序。Unity3D是一个游戏开发环境且具有可视化编辑界面，可以进行动态的游戏模拟。
在军用电子沙盘系统领域，OSG得到广泛应用，通过影像叠加、三维建模等逼真地呈现地形地貌特点，通过装备的实物建模逼真地呈现装备外观，再结合定位信息，通过显示屏呈现训练态势。
但近年来随着全息投影、裸眼3D[4]、VR及AR等技术发展，全息投影、多媒体、L幕、幻影成像等电子沙盘在房地产、文物场馆、5D影院及舞台表演等领域广泛应用。
2方案设计
系统结合多折幕技术、裸眼3D技术、图像处理技术、数据接入处理技术及三维建模技术等构建沉浸式电子沙盘，结合军事需求，通过软硬件实现实时训练态势和作战态势的实时逼真展示[5]。
2.1系统组成
系统由硬件和软件设备组成，硬件设备以多点控制一体机、电子屏、投影设备、声光电设备和服务器设备为主，为展示提供硬件平台支持，折幕电子屏的效果图如图1所示。
2.1.1硬件组成
多点控制一体机与展示电子屏进行交互式操作，可控制电子屏显示内容的视角及场景远近等，用于三维立体态势展示等。服务器设备用于后台的图像处理、三维建模处理、信息接入、特效制作及交互处理等。
2.1.2软件组成
软件包括图像处理软件、三维建模软件、三维立体态势展示软件、信息接入处理软件和交互处理软件，是系统的核心，通过软件完成电子沙盘与各类军事训练系统的对接，实现筹划、指挥、训练过程的实时展示与交互。
2.2系统工作原理
系统的硬件为软件运行及显示提供支撑及显示平台，系统的工作原理如图2所示，流程如下：
①系统硬件设备开机工作，软件运行；
②利用三维建模软件进行显示地形及实物建模；
③信息接入处理软件接收军事训练信息系统的训练筹划和指挥态势信息，进行信息处理；
④三维立体态势展示软件读取训练区域信息获取三维地形，显示三维立体地形；
⑤读取训练筹划的兵力部署信息，读取三维实物模型进行显示；
⑥图像处理软件进行立体展示处理，通过电子屏展示；
⑦交互处理软件检测交互操作信息，获取交互要求，发送交互指令至三维立体态势展示软件执行操作；
⑧图像处理软件进行立体展示处理，通过电子屏同步展示；
⑨信息接入处理软件接收实时训练的雷达开辐射、电抗干扰、火炮射击、目标毁伤及炸点等作战信息，进行信息转换处理；
⑩三维立体态势展示软件对作战信息进行特效生成处理，输出展示特效指令；
2.3系统软件设计
2.3.1图像处理软件设计
图像处理软件主要用于图像矫正和图像拼接的处理。
图像矫正[6]用于处理相机的零平面和三维电子沙盘的显示平面不重合引起的场景倾斜及透视畸变问题。系统拟采用基于深度图像的渲染技术（Depth Image Based Rendering，DIBR）进行图像矫正，DIBR是结合参考视差图像和其深度图像，利用三维图像映射方程合成新的目标图像。
图像矫正的过程为：
①使用特征点检测算法提取图像特征；
②使用立体匹配算法查找2幅图像中同一物点的像素点位，进行视差处理；
③标定相机机位，建立三维图像映射方程；
④将二维图像中的像素点通过映射方程反向投影到三维空间。
图像拼接用于图像平滑和叠加处理，结合图像矫正，抵消多折屏幕拼接处、观看者视角倾斜等因素对展示效果的影响，达到视觉上流畅、逼真、立体的效果。
2.3.2三维建模软件设计
三维建模软件主要用于三维地形的建模和实物的三维建模，为三维立体态势展示软件提供基础元素。由地形三维建模和实物三维建模2个功能模块组成。
①地形三维建模包括地形数据的加载处理、三维模型构建、纹理生成、叠加显示和地形输出；
②实物三维建模包括实物模型编辑、实物模型文件导入导出和实物模型管理，实物类型包括装备、平台及显示特效等。
在三维地形建模中，因OSG及ARCGIS等三维展示软件的展示效果不够立体、逼真度也不够，因此系统拟通过Unity3D实现三维场景制作及展示，为提升系统的展示能力，在三维地形场景制作时，系统拟提供2种级别的三维地形场景。
第1种：适用于对地貌要求不高的模式，系统提供根据高程数据经过三维建模算法构建的三维网格地图，进行纯色的颜色渲染，输出为系统定义的地形格式，为三维立体态势展示软件展示提供地图，展示效果如图3（a）所示。
第2种：精细地貌模式提供逼真的地形纹理制作及生成功能，此模式需专业制作地形纹理，并对纹理进行贴图、平滑等处理，展示效果如图3（b）所示。
在实物建模中，为提升系统的灵活性，系统拟构建可视化的建模工具，用于雷达、电抗、辐射效果、区域及航路等实物的三维模型制作及导入导出。
2.3.3三维立体态势展示软件设计
三维立体态势展示软件[7]包括三维地形展示、实装三维展示、作战特效展示、附属信息特效展示及交互特效展示，读取信息接入处理的筹划信息、作战行动信息，对信息进行显示处理，通过多点控制一体机控制展示，展示流程如图4所示。
因三维地形以Unity3D进行建模处理，三维立体态势展示软件也以Unity3D进行开发，通过实现三维地形和实物的显示，读取筹划的训练区域、规划航路、兵力部署站位、辐射、干扰、射击及毁伤等信息，建立展示模型进行三维立体展示，并提供视角控制、地图场景拉近及拉远等操作，并支持附属信息的灵活展示。
2.3.4信息接入处理软件设计
信息接入处理软件通过各类通信服务，与其他军事训练指挥筹划系统的信息对接，提供信息的适配接入及信息转换能力，以适配电子沙盘系统的信息格式，将适配处理后信息通过控制设备进行展示，接入处理及展示流程如图5所示。
由基础通信服务、信息接入、信息适配处理及信息转换处理模块组成，用于对训练筹划及作战行动等信息的接入處理。
系统拟构建通用的通信服务组件，提供包括TCP、UDP组播、UDP单播、串口、CAN口、数据总线、共享数据库及文件数据库等多种通信功能，与外部军事训练系统对接，接收其待展示的各类数据信息，进行格式化转换用于展示。2.3.5交互处理软件设计
交互处理软件[8]用于响应交互操作，包括软件操作及手势操作等，通过检测处理操作类型和位置，实现对电子沙盘的交互控制。设备或手势接入系统通过交互处理软件处理立体交互操作和软件交互操作，手势检测算法检测手势，输出交互操作指令通过多点控制一体机控制显示，使观看者可在屏幕内区域空中操控显示，达到立体交互效果，处理流程如图6所示。软件交互即通过计算机屏幕操作软件达到交互的效果，此时系统是开发的网络架构，可便捷支持手持设备的接入及交互操作。
3应用
系统以部队实际需求为输入，以提升试验训练态势展示及军用电子沙盘展示能力为目的，通过训练筹划及态势展示系统构建训练场景，驱动电子沙盘展示态势显示，通过场景内雷达、飞机及导弹等装备动作，驱动电子沙盘实时同步展示，用于导演大厅等综合态势展示，同时可通过立体交互进行立体指挥和场景操作。
4结束语
系统以部队实际需求为输入，结合电子沙盘技术现状，可融合接入仿真系统、试验系统及训练系统等，通过网络实现信息的交互，将仿真态势、试验态势、训练态势等战场态势进行立体综合展示，并可通过手势实现交互式操作，进行三维立体指挥。该系统能够升级指挥方式、提升态势展示效果及扩展电子沙盘能力，可安装部署于指挥大厅、导演大厅等。
参考文献
[1]郑华东，于瀛洁，程维明.三维立体显示技术研究新进展[J].光学技术，2008，34（3）：426-430，434.
[2]王舒晓.浅析全息投影、裸眼3D、虚拟现实技术的区别[J].电子测试，2018（22）：107-109.
[3]侯欢欢.基于ArcGIS的电子沙盘生成方法研究[D].太原：太原理工大学，2010.
[4]王鸣.裸眼3D显示技术[J].中国传媒科技，2013（12）： 110-111.
[5]黄波.大地形3D电子沙盘系统的设计与实现[D].成都：电子科技大学，2009.
[6]吴磊.图像矫正在三维立体电子沙盘中的应用[D].北京：北京邮电大学，2018.
[7]荆路友.基于Unity的三维实时显示系统[D].北京：北京邮电大学，2018.
[8]凡春伟.交互式电子沙盘的设计与实现[D].合肥：安徽大学， 2016.