论文部分内容阅读
光场解决虚拟现实困境
Magic Leap成立于2011年，在2014年10月谷歌牵头对它进行了5.42亿美元投资后名声大振，在此之前大部分人甚至都没听过这家公司。2016年2月Magic Leap又完成了C轮融资，金额7.94亿美元，由阿里巴巴领投，谷歌与高通风投公司参投，Fidelity Investments、JP摩根、摩根斯坦利、T Rowe Price也投入了部分资金。
完成这轮融资后，Magic Leap的估值已达45亿美元。拿到大笔的钱后的Magic Leap依然显得很神秘，很少接受媒体采访，没发布过、甚至没演示过任何产品，唯一做得只是展示了几个DEMO视频而已，但大家对它的期待仍然很高。不久前Magic Leap创始人罗尼·阿博维茨首次向外透露，Magic Leap至今已经花了10亿美元开发原型设备，并正投资1.5亿美元在佛罗里达建造生产线，最快会在未来18个月推出产品。
Magic Leap的产品与当前市面上的虚拟现实产品最大的不同就是采用了光场技术，Magic Leap官方的说法是“数字光场显示（Dynamic Digitized Lightfield Signal）技术”。其能呈现比 Oculus Rift 更具现实感的 3D 体验，可将虚拟图像直接用光场的形式投射在人的视网膜上，而用户除了能看到虚拟图像，还能感知其位置，这种体验如同建立在真实世界之上，且不会产生任何不适感。这正好解决了目前虚拟现实所面临的一些问题。
众所周知，传统的虚拟现实显示技术是通过双目视差的方法来产生3D景深效果，这会造成成像不逼真，无法实现看远处景物清晰则近景模糊、看近景清晰则远景模糊这一效果，不符合自然人眼接收图像的规律。长时间佩戴这种技术的VR设备，沉浸感不足，会导致大脑产生混乱，从而产生疲劳眩晕等感觉，一些人甚至会出现恶心、呕吐等不适症状。如果按照现有的虚拟实现成像原理这些问题是无法得到很好解决的，这也是造成2016年虚拟现实先火后冷的主要原因之一。
但随着光场技术的发展，虚拟现实面临的技术困境有望得到解决。这种技术可让使用者实现接近真实的立体视觉，让眼睛能以更舒适情况体验高清晰度、大视场角的虚拟实境呈现效果，避免了用户在佩戴过程中产生头晕、呕吐等不适的情况，给虚拟现实用户带来更好的体验效果。
什么是光场
那么到底什么是光场呢？所谓光场，就是指光在每一个方向通过每一个点的光量，自由空间中某一点沿着一定方向的光线辐射度值，该空间所有的有向光线集就构成了光场数据库。简单点说，光场就是指定空间内所有光线信息的总和，包括颜色、光线亮度、光线的方向、光线距离等等。光场技术除了可以像普通屏幕那样显示基本的图像信息外，还能显示景深信息，因此可以避免视觉系统的失衡和晕动症的产生。通过光场显示技术，人们可以真正感受到画面物体间的相对距离，比如看远处的物体时，近处的物体会因为眼球失焦而模糊，看近物时，远景也会被虚化，从而更接近真实的观看体验。
光场并不是Magic Leap造出来的新概念，其早在上世纪80年代就已经开始受到一些科研机构的关注，并展开了持续的研究。但由于光场技术涉及多个交叉学科，技术难度高，因此发展并不快。光场相机应该算是近年来光场技术最商品化的应用了，其中最为知名的光场相机厂商为Lytro。
光场相机厂商转型
Lytro是一家位于硅谷的科技公司，2006年创立，它的核心业务就是销售光场相机。利用光场技术原理，Lytro推出的光场相机能够完整地记录光场信息，拍照后可以任意地调整照片焦点，实现“先拍照后对焦”的效果。与普通数码相机相比，光场相机拍照的时候只需要考虑构图即可，不需要对焦，无论拍的照片模糊与否，只要在相机的焦距范围内，对焦点可以在拍完之后随意选择，因为相机在拍照的时候就把焦距范围内所有光学信息都记录在内了。
此外，由于采用与数码不同的成像技术，光场相机没有数码相机上复杂的聚焦系统，整体体积较小，操作也比较简单；同时由于不用选择对焦，拍摄的速度也更快。但光场相机也有不足，就是由于纪录了太多信息，照片的容量比较大。2011年6月，Lytro在获得5000万美元投资后推出了第一款光场相机，然而照片的质量不佳，受到了用户和媒体的批评。2014年7月，Lytro又推出了第二代产品Lytro Illum。
针对前代产品出现的画质问题，Lytro Illum采用4，000万像素镜头和f/2.0大光圈来提升照片质量，同時还配备大量实体按键来改善相机的易用性。然而问题依旧没有得到很好解决，因为Lytro Illum实际拍照时的有效像素有限，导致照片画质提升不高，实际效果甚至不如高端智能手机。更严重的是，Lytro Illum还暴露出新的问题，由于配备了高像素、大尺寸镜头，成像速度非常缓慢。
而此时，相机市场已经开始不断萎缩，智能手机取代数码相机成为超级终端的趋势十分明显。其他曾经涉足光场相机的厂商要不已销声匿迹，要不已放弃转做其他项目，备受产品市场不佳和成本控制等问题的Lytro也开始寻求转型。
当时市场对虚拟现实正在产生兴趣，但视觉上的不适感一直没有找到合适的解决办法。对此斯坦福大学进行了研究，他们认为光场技术或许可以改善虚拟现实设备的这个缺陷，不久后其公开了一台原型机，称该设备通过一种创新型叠加显示来获得自然光场，从而可有效降低VR晕动症的影响。
受此启发，Lytro决定试水虚拟现实，2015年11月发布了名为Lytro Immerge的VR摄像设备。Lytro Immerge外观看起来像一个安装在三脚架上的沙滩球，这一设备中包含数百个微小镜头和图像传感器，可以捕捉和记录周围的影像。但与其他VR设备不一样的是，除了记录色彩和光线强度，Lytro Immerge还会记录光线的行进方向，这就是Lytro赖以成名的光场技术，这一技术能帮助VR开发者记录诸如景深、光线方向等更多信息，也能够构建更逼真的效果。
Lytro Immerge不仅可以让VR场景变得更加清晰和立体感，用户还可以在这个VR场景中走动，虽然这个由Lytro Immerge创造的能四处行走的VR空间大概只有一个立方米左右，但这样的行走效果过去一般只能通过电脑生成素材，且场景的逼真程度很有限。Lytro希望能够创建一个端到端的VR系统：它包含一个光场技术的摄像头阵列、专用的服务器和编辑工具、存储在云端的流信息、以及为已经购买了各种头盔的终端用户使用的App。
蓄势启动
光场技术对于目前稍显疲软的虚拟现实可谓是利好，对于光场技术本身来说，也终于找到了用武之地。如今国外不少公司，如Magic Leap、Lytro、NextVR、OTOY、MicroVision等都在积极推进光场技术的发展进程，而国内公司在此方面也毫不放松，紧紧相随，这其中包括蚁视科技，光场视觉公司等。
据推测，Magic Leap投资1.5亿美元建立的生产线最先推出的可能是头戴式光场显示器，但最终产品应该是一副眼镜。当戴上设备后，它会阻挡视野，硬件直接将图像投射到视网膜。在半透明的眼镜内有一套光学系统，图像通过光学系统投射。产品不会伤害眼球，当观看时，产品不会强迫用户盯住屏幕，而是像平时观察世界一样观看。硬件持续收集信息，扫描房间中的物件，倾听声音，追踪眼球动作，观察手部移动。最终虚拟环境中的对象可以理解环境，可以与真实世界互动。
NextVR目前已经开发出了光场摄像技术，配备了光场技术的镜头，可以同时捕捉到整个背景的光场，拍摄的图像可以随意改变焦点，移动视角，相当于捕捉了某个瞬间的全部影像。而这意味着，当我们在这种镜头拍摄的影片中移动时，图像也会随之变化，感受起来就像在一个真实的世界中行走。这大大提高了虚拟现实的浸入体验，并且不管在哪个角度，这种体验都不会失真。
OTOY是一家专注于光场数据渲染与压缩的公司。由于VR画面需要后期进行大量图形渲染，而光场技术恰好可以将真实拍摄和虚拟构造的3D信息进行数字化保存，因此可以通过后期处理，让VR电影和VR游戏达到最逼真的效果。不过想得到优秀的渲染画面，同样要付出代价，撇开光场设备的价格不说，光是拍摄文件的大小已经让现在的网络带宽吃不消了。庞大数据量导致存储和传输出现困难，不利于光场技术的有效普及。不过OTOY公司宣称，通过他们的复杂算法压缩后，仅仅需要1.5Mb/s的速度就可以对单个演员的光场信息进行传输，就连智能手机也完全能胜任这项艰巨的任务。
国内方面，蚁视科技早在2012年就光场相关技术申请了国际专利。蚁视科技的创始人覃政表示：光场显示技术，通俗一点说就是它能同时呈现多个显示平面。目前蚁视的光场显示技术已经能同时显示10个平面，因而能够显示出具有连续体积感的实体，在空气中产生全息的效果。蚁视的光场眼镜，有一个明确的要点，就是图像的显示效果一定要真实逼真。透过眼镜看到的虚拟场景和真实场景，都是由计算机处理过的，因此看起来效果是一样的。而传统的增强现实或透过式显示技术，显示出来的虚拟图像，一般都是半透明地浮在空中的，而且亮度极高。利用蚁视的光场显示技术，就有可能显示出亮度跟自然物体一样的虚拟物体，因而真正能做到分不清真实和虚拟。
前不久，光场视觉公司刚刚发布了光场眼镜这一品牌LOGO，不过产品并未亮相。光场视觉CTO王一中表示这款产品目前还在进行最后的完善中，预计明年春节后将会推出开发者版本。这款光场眼镜能够达到视网膜级清晰度、无色散、不失真、最高可达150°+的全视野VR沉浸感和AR真实感，同时可实现VR/AR模式切换，即是VR又是AR，重量方面最低可以做到80克左右，可适合长时间佩戴。
商业化尚需时日
雖然目前各个光场技术厂商都摩拳擦掌，不少投资者也纷纷下注投入，但要实现光场技术在虚拟现实的商品化、产品的规模化仍存在一些困难。原因在于：首先，光场数据量太大，数据存储和传输都将面临问题，现有的网络带宽还无法实现流畅的光场内容分享。好在已有一些厂商如OTOY等正在研发压缩光场技术，试图降低数据存储量，但实际效果还有待考证；其次，光场显示的计算量也是是传统2D影像的好几倍，现有的移动端通用处理器难以负担如此大的计算量，现阶段的光场处理仍然依赖电脑，小型化便携性实现困难，除非设备体积和光场显示效果之间寻找平衡点，才能在短时间内实现小型化；第三，除了光场效果影像需要大量硬件资源来进行渲染，堆栈式的屏幕也需要更高的分辨率和更强的背光。这就是为什么Magic Leap花了十亿美元至今仍推不出一个成形产品，Lytro在2015年11月就发布了VR光场摄影机Immerge，但等了接近一年后的2016年9月才展示了Immerge拍摄的第一支样片的根本原因。然而即使如此，大家仍然对光场技术充满期待，因为它不仅对于VR虚拟现实，对于AR增强现实、MR混合现实的发展同样意义重大，虽然商业化还面临困难，但仍然值得等待和投入。相信过不了几年，光场必将担当大任。
Magic Leap成立于2011年，在2014年10月谷歌牵头对它进行了5.42亿美元投资后名声大振，在此之前大部分人甚至都没听过这家公司。2016年2月Magic Leap又完成了C轮融资，金额7.94亿美元，由阿里巴巴领投，谷歌与高通风投公司参投，Fidelity Investments、JP摩根、摩根斯坦利、T Rowe Price也投入了部分资金。
完成这轮融资后，Magic Leap的估值已达45亿美元。拿到大笔的钱后的Magic Leap依然显得很神秘，很少接受媒体采访，没发布过、甚至没演示过任何产品，唯一做得只是展示了几个DEMO视频而已，但大家对它的期待仍然很高。不久前Magic Leap创始人罗尼·阿博维茨首次向外透露，Magic Leap至今已经花了10亿美元开发原型设备，并正投资1.5亿美元在佛罗里达建造生产线，最快会在未来18个月推出产品。
Magic Leap的产品与当前市面上的虚拟现实产品最大的不同就是采用了光场技术，Magic Leap官方的说法是“数字光场显示（Dynamic Digitized Lightfield Signal）技术”。其能呈现比 Oculus Rift 更具现实感的 3D 体验，可将虚拟图像直接用光场的形式投射在人的视网膜上，而用户除了能看到虚拟图像，还能感知其位置，这种体验如同建立在真实世界之上，且不会产生任何不适感。这正好解决了目前虚拟现实所面临的一些问题。
众所周知，传统的虚拟现实显示技术是通过双目视差的方法来产生3D景深效果，这会造成成像不逼真，无法实现看远处景物清晰则近景模糊、看近景清晰则远景模糊这一效果，不符合自然人眼接收图像的规律。长时间佩戴这种技术的VR设备，沉浸感不足，会导致大脑产生混乱，从而产生疲劳眩晕等感觉，一些人甚至会出现恶心、呕吐等不适症状。如果按照现有的虚拟实现成像原理这些问题是无法得到很好解决的，这也是造成2016年虚拟现实先火后冷的主要原因之一。
但随着光场技术的发展，虚拟现实面临的技术困境有望得到解决。这种技术可让使用者实现接近真实的立体视觉，让眼睛能以更舒适情况体验高清晰度、大视场角的虚拟实境呈现效果，避免了用户在佩戴过程中产生头晕、呕吐等不适的情况，给虚拟现实用户带来更好的体验效果。
什么是光场
那么到底什么是光场呢？所谓光场，就是指光在每一个方向通过每一个点的光量，自由空间中某一点沿着一定方向的光线辐射度值，该空间所有的有向光线集就构成了光场数据库。简单点说，光场就是指定空间内所有光线信息的总和，包括颜色、光线亮度、光线的方向、光线距离等等。光场技术除了可以像普通屏幕那样显示基本的图像信息外，还能显示景深信息，因此可以避免视觉系统的失衡和晕动症的产生。通过光场显示技术，人们可以真正感受到画面物体间的相对距离，比如看远处的物体时，近处的物体会因为眼球失焦而模糊，看近物时，远景也会被虚化，从而更接近真实的观看体验。
光场并不是Magic Leap造出来的新概念，其早在上世纪80年代就已经开始受到一些科研机构的关注，并展开了持续的研究。但由于光场技术涉及多个交叉学科，技术难度高，因此发展并不快。光场相机应该算是近年来光场技术最商品化的应用了，其中最为知名的光场相机厂商为Lytro。
光场相机厂商转型
Lytro是一家位于硅谷的科技公司，2006年创立，它的核心业务就是销售光场相机。利用光场技术原理，Lytro推出的光场相机能够完整地记录光场信息，拍照后可以任意地调整照片焦点，实现“先拍照后对焦”的效果。与普通数码相机相比，光场相机拍照的时候只需要考虑构图即可，不需要对焦，无论拍的照片模糊与否，只要在相机的焦距范围内，对焦点可以在拍完之后随意选择，因为相机在拍照的时候就把焦距范围内所有光学信息都记录在内了。
此外，由于采用与数码不同的成像技术，光场相机没有数码相机上复杂的聚焦系统，整体体积较小，操作也比较简单；同时由于不用选择对焦，拍摄的速度也更快。但光场相机也有不足，就是由于纪录了太多信息，照片的容量比较大。2011年6月，Lytro在获得5000万美元投资后推出了第一款光场相机，然而照片的质量不佳，受到了用户和媒体的批评。2014年7月，Lytro又推出了第二代产品Lytro Illum。
针对前代产品出现的画质问题，Lytro Illum采用4，000万像素镜头和f/2.0大光圈来提升照片质量，同時还配备大量实体按键来改善相机的易用性。然而问题依旧没有得到很好解决，因为Lytro Illum实际拍照时的有效像素有限，导致照片画质提升不高，实际效果甚至不如高端智能手机。更严重的是，Lytro Illum还暴露出新的问题，由于配备了高像素、大尺寸镜头，成像速度非常缓慢。
而此时，相机市场已经开始不断萎缩，智能手机取代数码相机成为超级终端的趋势十分明显。其他曾经涉足光场相机的厂商要不已销声匿迹，要不已放弃转做其他项目，备受产品市场不佳和成本控制等问题的Lytro也开始寻求转型。
当时市场对虚拟现实正在产生兴趣，但视觉上的不适感一直没有找到合适的解决办法。对此斯坦福大学进行了研究，他们认为光场技术或许可以改善虚拟现实设备的这个缺陷，不久后其公开了一台原型机，称该设备通过一种创新型叠加显示来获得自然光场，从而可有效降低VR晕动症的影响。
受此启发，Lytro决定试水虚拟现实，2015年11月发布了名为Lytro Immerge的VR摄像设备。Lytro Immerge外观看起来像一个安装在三脚架上的沙滩球，这一设备中包含数百个微小镜头和图像传感器，可以捕捉和记录周围的影像。但与其他VR设备不一样的是，除了记录色彩和光线强度，Lytro Immerge还会记录光线的行进方向，这就是Lytro赖以成名的光场技术，这一技术能帮助VR开发者记录诸如景深、光线方向等更多信息，也能够构建更逼真的效果。
Lytro Immerge不仅可以让VR场景变得更加清晰和立体感，用户还可以在这个VR场景中走动，虽然这个由Lytro Immerge创造的能四处行走的VR空间大概只有一个立方米左右，但这样的行走效果过去一般只能通过电脑生成素材，且场景的逼真程度很有限。Lytro希望能够创建一个端到端的VR系统：它包含一个光场技术的摄像头阵列、专用的服务器和编辑工具、存储在云端的流信息、以及为已经购买了各种头盔的终端用户使用的App。
蓄势启动
光场技术对于目前稍显疲软的虚拟现实可谓是利好，对于光场技术本身来说，也终于找到了用武之地。如今国外不少公司，如Magic Leap、Lytro、NextVR、OTOY、MicroVision等都在积极推进光场技术的发展进程，而国内公司在此方面也毫不放松，紧紧相随，这其中包括蚁视科技，光场视觉公司等。
据推测，Magic Leap投资1.5亿美元建立的生产线最先推出的可能是头戴式光场显示器，但最终产品应该是一副眼镜。当戴上设备后，它会阻挡视野，硬件直接将图像投射到视网膜。在半透明的眼镜内有一套光学系统，图像通过光学系统投射。产品不会伤害眼球，当观看时，产品不会强迫用户盯住屏幕，而是像平时观察世界一样观看。硬件持续收集信息，扫描房间中的物件，倾听声音，追踪眼球动作，观察手部移动。最终虚拟环境中的对象可以理解环境，可以与真实世界互动。
NextVR目前已经开发出了光场摄像技术，配备了光场技术的镜头，可以同时捕捉到整个背景的光场，拍摄的图像可以随意改变焦点，移动视角，相当于捕捉了某个瞬间的全部影像。而这意味着，当我们在这种镜头拍摄的影片中移动时，图像也会随之变化，感受起来就像在一个真实的世界中行走。这大大提高了虚拟现实的浸入体验，并且不管在哪个角度，这种体验都不会失真。
OTOY是一家专注于光场数据渲染与压缩的公司。由于VR画面需要后期进行大量图形渲染，而光场技术恰好可以将真实拍摄和虚拟构造的3D信息进行数字化保存，因此可以通过后期处理，让VR电影和VR游戏达到最逼真的效果。不过想得到优秀的渲染画面，同样要付出代价，撇开光场设备的价格不说，光是拍摄文件的大小已经让现在的网络带宽吃不消了。庞大数据量导致存储和传输出现困难，不利于光场技术的有效普及。不过OTOY公司宣称，通过他们的复杂算法压缩后，仅仅需要1.5Mb/s的速度就可以对单个演员的光场信息进行传输，就连智能手机也完全能胜任这项艰巨的任务。
国内方面，蚁视科技早在2012年就光场相关技术申请了国际专利。蚁视科技的创始人覃政表示：光场显示技术，通俗一点说就是它能同时呈现多个显示平面。目前蚁视的光场显示技术已经能同时显示10个平面，因而能够显示出具有连续体积感的实体，在空气中产生全息的效果。蚁视的光场眼镜，有一个明确的要点，就是图像的显示效果一定要真实逼真。透过眼镜看到的虚拟场景和真实场景，都是由计算机处理过的，因此看起来效果是一样的。而传统的增强现实或透过式显示技术，显示出来的虚拟图像，一般都是半透明地浮在空中的，而且亮度极高。利用蚁视的光场显示技术，就有可能显示出亮度跟自然物体一样的虚拟物体，因而真正能做到分不清真实和虚拟。
前不久，光场视觉公司刚刚发布了光场眼镜这一品牌LOGO，不过产品并未亮相。光场视觉CTO王一中表示这款产品目前还在进行最后的完善中，预计明年春节后将会推出开发者版本。这款光场眼镜能够达到视网膜级清晰度、无色散、不失真、最高可达150°+的全视野VR沉浸感和AR真实感，同时可实现VR/AR模式切换，即是VR又是AR，重量方面最低可以做到80克左右，可适合长时间佩戴。
商业化尚需时日
雖然目前各个光场技术厂商都摩拳擦掌，不少投资者也纷纷下注投入，但要实现光场技术在虚拟现实的商品化、产品的规模化仍存在一些困难。原因在于：首先，光场数据量太大，数据存储和传输都将面临问题，现有的网络带宽还无法实现流畅的光场内容分享。好在已有一些厂商如OTOY等正在研发压缩光场技术，试图降低数据存储量，但实际效果还有待考证；其次，光场显示的计算量也是是传统2D影像的好几倍，现有的移动端通用处理器难以负担如此大的计算量，现阶段的光场处理仍然依赖电脑，小型化便携性实现困难，除非设备体积和光场显示效果之间寻找平衡点，才能在短时间内实现小型化；第三，除了光场效果影像需要大量硬件资源来进行渲染，堆栈式的屏幕也需要更高的分辨率和更强的背光。这就是为什么Magic Leap花了十亿美元至今仍推不出一个成形产品，Lytro在2015年11月就发布了VR光场摄影机Immerge，但等了接近一年后的2016年9月才展示了Immerge拍摄的第一支样片的根本原因。然而即使如此，大家仍然对光场技术充满期待，因为它不仅对于VR虚拟现实，对于AR增强现实、MR混合现实的发展同样意义重大，虽然商业化还面临困难，但仍然值得等待和投入。相信过不了几年，光场必将担当大任。