论文部分内容阅读
想象一下，在一间大大的体育场中，一只鲸鱼就那么凭空从地板中冲出。鲸鱼和浪花不是现实，却与现实完美契合，而且角度不同看到的景象也不同——这是多么奇妙的景象！
这难道是最新的虚拟现实技术（Virtual Reality ，VR）？ 并不是。我们知道所有的虚拟现实都需要戴眼镜才能观看的，而这个令人震撼的场景并不需要观众佩戴任何设备，体育场中央也没有类似屏幕的物体。
其实，我们还可以创造出更多类似的幻象，比如：
宇宙也可以尽在掌中。
把手慢慢打开，里面竟藏着一只微型大象。
色彩斑斓的海马就在身边。
以后人体解剖课可以这样上了。
不仅如此，以后生活的方方面面都可以这样显示了：
天气预报，直接在空中显示！
妈妈们再也不用担心孩子的学习了！
在办公室里养条鲨鱼当宠物。
所有这些像极了《星际迷航》一类的科幻电影里的情节，但它们并不是电影，而是活生生的现实！
既不是虚拟现实技术，也不是科幻电影场景，那它们是什么呢？这是一家低调神秘的创业公司最新创造的增强现实技术（Augmented Reality ，AR）。这家公司的名字叫Magic Leap，它2011年才成立，至今也没有推出什么商业化的产品，却凭借上述那些魔幻般的场景表演。该公司成功吸引了包括谷歌、阿里巴巴等世界顶级公司以及摩根士丹利、摩根大通等著名金融公司几十亿美元的投资，成为了全世界资金最充裕的创业公司之一。
这么多大牌公司纷纷投资一个初创公司，是因为Magic Leap的技术深深打动了他们。如果 Magic Leap 的技术得以实现，我们将迎来一个仿若科幻世界一般的未来。电影将不再拘泥于2D银幕，而是可以呈现出更加复杂、立体，具有互动性质的形式；进入商场中后，动态感十足的展示比柜台里静静呆着的商品更吸引人；我们将能够把现实世界当成游戏舞台，再也不用受到屏幕、键盘、鼠标、电脑桌的限制。尤其是，我们将不必佩戴任何特殊的眼镜，就能看到全息景象！
一旦这项技术得以运用，屏幕便不再重要，也许更会颠覆人类的生活方式！如此科幻的逆天技术，前途将不可限量。
增强现实与虚拟现实
事实上，虚拟世界早就已经进入生活。3D影视已经能让动物栩栩如生地出现在面前，那么Magic leap到底有什么魅力，吸引到这么多优质的投资呢？
在解释这个问题前，不妨先看看虚拟现实（VR）与增强现实（AR）的区别。现实生活中，绝大部分屏幕显示只能进行简单的二维（2D）显示，然而人们实际所处的现实空间却是一个三维 （3D）的空间。二维显示的物体图像没有立体感和厚度，总体上就是一个平面，与真实的立体环境有很大区别。VR和AR都是致力于创建三维的立体逼真图像。
前者的典型例子就是3D电影。人之所以产生立体视觉，是由于人的两只眼睛同时观察物体时，在视网膜上形成的像并不完全相同，左眼看到物体的左侧面较多，右眼看到物体的右侧面较多，这两个成像经过大脑综合以后就能区分物体的远近，从而产生立体视觉。
3D电影就是利用了这个原理，在拍摄时，利用两台并列安置的电影摄影机，分别代表人的左、右眼，同步拍摄出两个略带水平视差的电影画面。放映时，将两条电影胶片分别装入左、右电影放映机。当画面投放于银幕上，就会形成左、右“细微”的双重影像。特制的偏光眼镜能将左、右“双影”叠合在视网膜上，由大脑神经产生三维立体的视觉效果，从而展现出一幅幅连贯的立体画面，让观众感受到景物扑面而来，自己身临其境的神奇体会。
但3D电影的立体视觉并不能真正与环境融为一体。比如，你只能在电影院里通过固定的银幕，看到《阿凡达》里的蝴蝶正飞出来，在你鼻尖停留 ，但银幕与周围的环境差距还是很大，并不能真正让人产生真假难分的错觉。这是因为3D电影最常用的方法本质上是欺骗你的眼睛，而不是用你通常见到事物的方式呈现物体。
Magic leap公司的增强现实技术与虚拟现实技术最大的不同，是将这些模拟图像融入到你所处的现实生活中，不需要投影仪，不需要玻璃板，不需要任何专用的全息影像投影设备，而是真正意义上的“凭空出现”，让这只蝴蝶在整个电影院飞舞，让你很难区分这究竟是真蝴蝶还是假蝴蝶。
增强现实的原理
这种效果，被Magic Leap称作“四维光场显示技术”。所谓“四维光场”，是指空间中一束光包括位置和方向的所有信息，这些信息其实需要五个维度的坐标来确定——位置需要三个维度，方向需要两个维度。在计算中，每多一个维度，就会将计算量大大提高，因此要尽量降低维度，所以使用了一个简单的模型，巧妙地从五维降为四维。
理解这个光场之前，我们需要先理解下我们现在看到的这个世界。我们在看不同物体时，我们眼睛的晶状体会随时进行对焦来使物体更清楚。就是当物体靠近时，我们的瞳孔会进行收缩，让视网膜接受到清晰的实像，反之亦然。
也就是说，我们人眼看真实世界的时候，眼睛落到不同物体或者不同的点上时，焦点、焦距都是不同的。即我们眼中看到的清晰世界，在一个时间内，只是类似于一个确定焦点的二维图，跟现在通用相机拍出来的照片差不多，焦点部分是清晰的（就是我们盯着看的地方是清楚的），背景部分则是虚化的（就是除了盯着的中心区域以外，眼睛余光部分全部是模糊的）。而整个空间环境则是由无数个这样的二维画面叠加融合而成，融合后的画面会包含各个“焦点”在特定时刻的各种空间信息和位置关系。
而Magic leap 的“四维光场显示技术”，其核心设备是光纤投影仪，就好像把一大簇迷你相机捆在一起，同时从一个场景的多个视角捕捉光线信息，当捕捉到每束光线的方向信息后，使用一系列数学方法重建一个数字光场，复原模拟出来这个空间，使我们跟真正在这个空间中的任何位置一样，能从任意角度看到对应的“无数个这样的二维画面叠加融合”而成的画面。用不太准确的比喻话，就是把你眼前的立体世界加一个轴，然后按照这个轴切片，你看到的所有画面都是这一堆切片里面的某一张。 融入环境
在解决完虚拟成像问题后，还要解决如何与现实空间融合的问题。Magic leap的基本原理是需要摄像头先捕获周边的环境，迅速建立模型。然后在此之上叠加“不存在”的虚拟内容。
感知环境中的三维信息，这个可以通过普通的摄像头实现。这一步完成之后，需要对三维进行重构，随后需要识别三维物体细节。计算机现在需要理解环境中的具体构成，以便能和环境发生互动。比如什么是椅子，什么是窗户，什么是天花板，是一张什么椅子，椅子的材质是什么？
然后，是一个很重要的一个设计——互动环节，这就需要对三维物体的材质进行识别。在完成了所有呈现效果的仿真计算之后，需要将 AR 效果实时渲染出来，进而投射在显示设备上。
最后的但并非最不重要的，还需要一些零部件。比如一双“触觉手套”，它可以让你真实地摩擦双指，当遇到危险时，还能操纵一对虚拟机器人。一个LCD，来挡住现实世界里虚拟物体占据的位置反射出来的光线，让虚拟物体不会失真。还需要用到一个眼镜里内嵌的摄像头追踪眼球注意力。
世界是你的屏幕
由于涉及到的传感器信号处理、三维重构、三维物体识别、计算机图形学等众多领域，在刚开始时，精力有限的magic leap会集中在游戏、娱乐和通信的设备开发方面，然后再开辟其他领域的用途。
但即便仅仅局限于这些领域，也已经可以让我们展开无限的想象。比如可以空中发邮件、看NBA现场球赛。远方的家人看起来，好像坐在客厅里，跟你促膝而谈。去了一个陌生的城市时，有一个“空气导游”一路跟随，而你看上去像在跟“空气”对话。
Magic leap也会把虚拟人物请入课堂。在物理课上，爱因斯坦可以出来跟你聊聊相对论，电影课上，哈利波特带你去制服伏地魔。无聊时，你可以完全撇开老师唾沫横飞的讲课，偷偷打开特定的应用程序，穿越到过去，看一场热闹的宫廷剧。因为Magic leap将来有可能会设计一款小巧的能装在口袋里的虚拟设备，也会开发出类似安卓系统的应用系统。
此前，人类通过文学作品、鬼魂传说构建的想象世界，现在Magic leap由图像来完成，而且会有更逼真的身临其境感，它逼真的3D技术，将会在医学、心理学、文学方面大放异彩。正像Magic leap 的创始人说的：“它将会带来世界性信息和交互方式的改变。”
但换个角度，假如日本最恐怖的电影《午夜凶铃》邀你一起体验“贞子”的世界，你的感觉会如何？
在美国惊悚电影《迷雾》中，画家大卫·德雷顿生活在一座风景怡人的小镇里，恰逢一场暴风雨过后，远方突然逆风飘来一团浓密的黑雾。小镇的人，习以为常地购物、逛街。但随着浓雾占据了整个小镇，来不及从雾中脱逃的人，被许多吃人的生物袭击，受到攻击的不仅仅是人，还包括一切生物，一时间，生灵涂炭，小镇上尸横遍野。
而这场恐怖的屠杀的罪魁祸首，却是科学家。原来科学家们在一次试验中，不小心打开了另一个世界的门，来自异次元世界的怪兽跑到了这个世界上。这个于2007年11月21日在美国上映的影片，那时还没预料到Majic leap 能够实现。但二者却达到了惊人的相似性：都打开了另外一个世界的门，都引来了怪兽。到底Magic Leap 引来的虚拟怪兽，会不会杀人？让我们拭目以待。
这难道是最新的虚拟现实技术（Virtual Reality ，VR）？ 并不是。我们知道所有的虚拟现实都需要戴眼镜才能观看的，而这个令人震撼的场景并不需要观众佩戴任何设备，体育场中央也没有类似屏幕的物体。
其实，我们还可以创造出更多类似的幻象，比如：
宇宙也可以尽在掌中。
把手慢慢打开，里面竟藏着一只微型大象。
色彩斑斓的海马就在身边。
以后人体解剖课可以这样上了。
不仅如此，以后生活的方方面面都可以这样显示了：
天气预报，直接在空中显示！
妈妈们再也不用担心孩子的学习了！
在办公室里养条鲨鱼当宠物。
所有这些像极了《星际迷航》一类的科幻电影里的情节，但它们并不是电影，而是活生生的现实！
既不是虚拟现实技术，也不是科幻电影场景，那它们是什么呢？这是一家低调神秘的创业公司最新创造的增强现实技术（Augmented Reality ，AR）。这家公司的名字叫Magic Leap，它2011年才成立，至今也没有推出什么商业化的产品，却凭借上述那些魔幻般的场景表演。该公司成功吸引了包括谷歌、阿里巴巴等世界顶级公司以及摩根士丹利、摩根大通等著名金融公司几十亿美元的投资，成为了全世界资金最充裕的创业公司之一。
这么多大牌公司纷纷投资一个初创公司，是因为Magic Leap的技术深深打动了他们。如果 Magic Leap 的技术得以实现，我们将迎来一个仿若科幻世界一般的未来。电影将不再拘泥于2D银幕，而是可以呈现出更加复杂、立体，具有互动性质的形式；进入商场中后，动态感十足的展示比柜台里静静呆着的商品更吸引人；我们将能够把现实世界当成游戏舞台，再也不用受到屏幕、键盘、鼠标、电脑桌的限制。尤其是，我们将不必佩戴任何特殊的眼镜，就能看到全息景象！
一旦这项技术得以运用，屏幕便不再重要，也许更会颠覆人类的生活方式！如此科幻的逆天技术，前途将不可限量。
增强现实与虚拟现实
事实上，虚拟世界早就已经进入生活。3D影视已经能让动物栩栩如生地出现在面前，那么Magic leap到底有什么魅力，吸引到这么多优质的投资呢？
在解释这个问题前，不妨先看看虚拟现实（VR）与增强现实（AR）的区别。现实生活中，绝大部分屏幕显示只能进行简单的二维（2D）显示，然而人们实际所处的现实空间却是一个三维 （3D）的空间。二维显示的物体图像没有立体感和厚度，总体上就是一个平面，与真实的立体环境有很大区别。VR和AR都是致力于创建三维的立体逼真图像。
前者的典型例子就是3D电影。人之所以产生立体视觉，是由于人的两只眼睛同时观察物体时，在视网膜上形成的像并不完全相同，左眼看到物体的左侧面较多，右眼看到物体的右侧面较多，这两个成像经过大脑综合以后就能区分物体的远近，从而产生立体视觉。
3D电影就是利用了这个原理，在拍摄时，利用两台并列安置的电影摄影机，分别代表人的左、右眼，同步拍摄出两个略带水平视差的电影画面。放映时，将两条电影胶片分别装入左、右电影放映机。当画面投放于银幕上，就会形成左、右“细微”的双重影像。特制的偏光眼镜能将左、右“双影”叠合在视网膜上，由大脑神经产生三维立体的视觉效果，从而展现出一幅幅连贯的立体画面，让观众感受到景物扑面而来，自己身临其境的神奇体会。
但3D电影的立体视觉并不能真正与环境融为一体。比如，你只能在电影院里通过固定的银幕，看到《阿凡达》里的蝴蝶正飞出来，在你鼻尖停留 ，但银幕与周围的环境差距还是很大，并不能真正让人产生真假难分的错觉。这是因为3D电影最常用的方法本质上是欺骗你的眼睛，而不是用你通常见到事物的方式呈现物体。
Magic leap公司的增强现实技术与虚拟现实技术最大的不同，是将这些模拟图像融入到你所处的现实生活中，不需要投影仪，不需要玻璃板，不需要任何专用的全息影像投影设备，而是真正意义上的“凭空出现”，让这只蝴蝶在整个电影院飞舞，让你很难区分这究竟是真蝴蝶还是假蝴蝶。
增强现实的原理
这种效果，被Magic Leap称作“四维光场显示技术”。所谓“四维光场”，是指空间中一束光包括位置和方向的所有信息，这些信息其实需要五个维度的坐标来确定——位置需要三个维度，方向需要两个维度。在计算中，每多一个维度，就会将计算量大大提高，因此要尽量降低维度，所以使用了一个简单的模型，巧妙地从五维降为四维。
理解这个光场之前，我们需要先理解下我们现在看到的这个世界。我们在看不同物体时，我们眼睛的晶状体会随时进行对焦来使物体更清楚。就是当物体靠近时，我们的瞳孔会进行收缩，让视网膜接受到清晰的实像，反之亦然。
也就是说，我们人眼看真实世界的时候，眼睛落到不同物体或者不同的点上时，焦点、焦距都是不同的。即我们眼中看到的清晰世界，在一个时间内，只是类似于一个确定焦点的二维图，跟现在通用相机拍出来的照片差不多，焦点部分是清晰的（就是我们盯着看的地方是清楚的），背景部分则是虚化的（就是除了盯着的中心区域以外，眼睛余光部分全部是模糊的）。而整个空间环境则是由无数个这样的二维画面叠加融合而成，融合后的画面会包含各个“焦点”在特定时刻的各种空间信息和位置关系。
而Magic leap 的“四维光场显示技术”，其核心设备是光纤投影仪，就好像把一大簇迷你相机捆在一起，同时从一个场景的多个视角捕捉光线信息，当捕捉到每束光线的方向信息后，使用一系列数学方法重建一个数字光场，复原模拟出来这个空间，使我们跟真正在这个空间中的任何位置一样，能从任意角度看到对应的“无数个这样的二维画面叠加融合”而成的画面。用不太准确的比喻话，就是把你眼前的立体世界加一个轴，然后按照这个轴切片，你看到的所有画面都是这一堆切片里面的某一张。 融入环境
在解决完虚拟成像问题后，还要解决如何与现实空间融合的问题。Magic leap的基本原理是需要摄像头先捕获周边的环境，迅速建立模型。然后在此之上叠加“不存在”的虚拟内容。
感知环境中的三维信息，这个可以通过普通的摄像头实现。这一步完成之后，需要对三维进行重构，随后需要识别三维物体细节。计算机现在需要理解环境中的具体构成，以便能和环境发生互动。比如什么是椅子，什么是窗户，什么是天花板，是一张什么椅子，椅子的材质是什么？
然后，是一个很重要的一个设计——互动环节，这就需要对三维物体的材质进行识别。在完成了所有呈现效果的仿真计算之后，需要将 AR 效果实时渲染出来，进而投射在显示设备上。
最后的但并非最不重要的，还需要一些零部件。比如一双“触觉手套”，它可以让你真实地摩擦双指，当遇到危险时，还能操纵一对虚拟机器人。一个LCD，来挡住现实世界里虚拟物体占据的位置反射出来的光线，让虚拟物体不会失真。还需要用到一个眼镜里内嵌的摄像头追踪眼球注意力。
世界是你的屏幕
由于涉及到的传感器信号处理、三维重构、三维物体识别、计算机图形学等众多领域，在刚开始时，精力有限的magic leap会集中在游戏、娱乐和通信的设备开发方面，然后再开辟其他领域的用途。
但即便仅仅局限于这些领域，也已经可以让我们展开无限的想象。比如可以空中发邮件、看NBA现场球赛。远方的家人看起来，好像坐在客厅里，跟你促膝而谈。去了一个陌生的城市时，有一个“空气导游”一路跟随，而你看上去像在跟“空气”对话。
Magic leap也会把虚拟人物请入课堂。在物理课上，爱因斯坦可以出来跟你聊聊相对论，电影课上，哈利波特带你去制服伏地魔。无聊时，你可以完全撇开老师唾沫横飞的讲课，偷偷打开特定的应用程序，穿越到过去，看一场热闹的宫廷剧。因为Magic leap将来有可能会设计一款小巧的能装在口袋里的虚拟设备，也会开发出类似安卓系统的应用系统。
此前，人类通过文学作品、鬼魂传说构建的想象世界，现在Magic leap由图像来完成，而且会有更逼真的身临其境感，它逼真的3D技术，将会在医学、心理学、文学方面大放异彩。正像Magic leap 的创始人说的：“它将会带来世界性信息和交互方式的改变。”
但换个角度，假如日本最恐怖的电影《午夜凶铃》邀你一起体验“贞子”的世界，你的感觉会如何？
在美国惊悚电影《迷雾》中，画家大卫·德雷顿生活在一座风景怡人的小镇里，恰逢一场暴风雨过后，远方突然逆风飘来一团浓密的黑雾。小镇的人，习以为常地购物、逛街。但随着浓雾占据了整个小镇，来不及从雾中脱逃的人，被许多吃人的生物袭击，受到攻击的不仅仅是人，还包括一切生物，一时间，生灵涂炭，小镇上尸横遍野。
而这场恐怖的屠杀的罪魁祸首，却是科学家。原来科学家们在一次试验中，不小心打开了另一个世界的门，来自异次元世界的怪兽跑到了这个世界上。这个于2007年11月21日在美国上映的影片，那时还没预料到Majic leap 能够实现。但二者却达到了惊人的相似性：都打开了另外一个世界的门，都引来了怪兽。到底Magic Leap 引来的虚拟怪兽，会不会杀人？让我们拭目以待。