论文部分内容阅读
日前，华为在上海正式发布了P30系列手机，这款万众期待的新机从上一代开始就以出类拔萃的拍照功能而闻名天下，也自然会引发大家的好奇：在P20已经足够逆天的情况下，P30还能怎样突破？而这也是我们将相机功能作为唯一主题行文的最大原因。
“夜视仪”是如何炼成的？
首先，硬软兼施的多帧堆栈技术。去年的华为 P20系列可以说是一鸣惊人，DxOMark霸榜一年多，也被各路高手挑战了一年多，但可惜“一个能打的都没有”，所以解铃还须系铃人，当很多人都在琢磨P20 Pro是不是已经摸到了手机摄像头性能天花板，下一代还怎么玩的时候，刚刚发布的华为 P30系列便回答了这个问题。
先来看这个拍摄环境，可以发现因为环境光线昏暗，取景器里几乎看不清到底拍的是什么。
如果是一般的手机，这时候你就只能默默把它塞回裤兜，但如果你用的是P30系列，那么它会用最终照片告诉你，其实你可以看得很清晰。
这是晚上10点多，在灯光昏暗的住家小区内手持拍摄的照片，“夜视仪”的美名也因此而来，那么，P30系列是怎么做到的？
任何有数码相机摄影经验的玩家应该知道，弱光环境下的拍摄需要足够大的光圈和足够高的ISO才能保证出片亮度， P30的主摄为F/1.8光圈， P30 Pro则是F/1.6，都是比较大的光圈值，但即便如此，我们的拍摄环境也需要ISO 12800甚至更高才能实现拍摄，而且还需要上脚架才能保持画面稳定，手持就需要更进一步增加ISO，P30系列却通过手持的形式实现了比较干净的输出效果，其中最大的“秘诀”就是多帧堆栈技术。
我们知道弱光下的单次曝光需要相对较长的曝光时间，这也是它为什么很难手持的原因之一，而多帧技术的原理就是将原本的1秒曝光，切分为比如20次，也就是单帧1/20秒连拍20次，1/20秒的持稳难度显然比1秒要低很多，而且即便其中有一些帧模糊了也可以抽掉，结合其他帧的数据通过算法来补偿，从而实现最终堆栈出图效果与单帧几乎相同，但稳定性明显更高的目的。
这项技术在去年的P20 Pro上我们就体验过了，但很明显P30系列升级了算法细节，这次的夜景模式手持多帧后不仅对模糊区域的抽帧做得更好（比如有行人时依然可以输出没有动态模糊的照片），而且降噪涂抹算法对边缘区域的处理没有那么生硬，放大后观看也不会显得画面很干，高频信息保留度做得不错，事实上这也是P30系列弱光性能进化的第二个点。
其次，四合一像素阵列增强细节。从P20系列开始，华为就用上了4000万像素Quad Bayer阵列CMOS。想象一个传统拜耳阵列RGGB滤色镜像素组合，把每一个像素都一分为四，就变成了RRRR/GGGG/GGGG/BBBB的组合，因为每个新的像素都有自己的光电二极管和输出电路，所以它们都是一个个可独立积累入射光子的全功能像素，但在ISP处理时会默认为四合一，换句话说，在ISP眼里默认它们是1000万像素，在不改变CMOS面积的情况下为什么要这么费尽周折的设计？
其实目的是为了提高空间采样率，我们的拍摄的空间可以看作为一个连续线性系统，而相机的像素就是在这个系统中进行采样，显然采样率越高，越有利于空间信号特别是高频的恢复，在强光下这个设计可以更好地避免摩尔纹，在弱光下它可以尽量提供更多高频信息，从而增强P30系列的拍摄性能。
更重要的是，20万/40万ISO背后的硬软件加持。有了多帧，也有了四合一阵列像素，还需要一个重要的因素就是高感光度，而P30系列史无前例地提供了最高204800（P30）和409600（P30 Pro）的ISO值，即便是RAW拍摄也能提供最高ISO 6400的原始图像，高ISO意味着CMOS成像所需的光子总数不必太高，千万别小瞧这项技术，因为手机摄像头传感器像素密度非常大，光子逸出率比较高，像素之间的光响应值方差会相对较高（非均匀性响应），再加上密集排列的电压放大器和模数转换器，单单是模拟电路端的信噪比其实就很难保证，并且弱光下一定会有非常低的散粒噪声信噪比，可以说放眼整个影像行业，P30系列面临的挑战也都是前所未有的高。
但即便如此， P30系列在几乎没有光源，肉眼看上去完全是漆黑一片的環境里，依然可以手持拍摄并且能够清楚地交代所处的环境，能在这么少量的原始信息里榨取到有效内容，而且降噪算法还可以很好地保留细节，无论是硬件设计还是算法训练成熟度毫无疑问都是业界顶尖水准。
至于拍星空，其实跟超高ISO没有特别大的关系，因为一般星空摄影的ISO都不会超过3200，事实上光害较低的区域在没有月亮的晴朗夜晚，F/1.6或F/1.8级别光圈只需要ISO 400就能拍星星了，手机完全做得到，原生相机APP就支持手动模式原始格式输出的P30系列自然也不在话下，“手机能不能拍星空”这个话题压根就没什么可争辩的，但P30系列的优势就在于降噪算法很聪明，没有出现专业相机都曾出现过的“降噪吞星”问题，而且在环境条件很好的情况下可以通过多帧堆栈技术实现手持拍摄，这是其他手机目前很难做到的。
有较大ISO调整范围也就顺便增强了P30系列的弱光视频性能，在酒吧、影院、KTV等光线相对昏暗的环境下， P30系列也依然可以拍摄有充裕信息的4K视频。当然，任何弱光环境下，如果用专业相机高ISO并采用大光圈镜头也没问题，甚至效果更好，但这一套的成本可不低，很难做到拿出来就立马进行拍摄，还有很高的学习门槛，所以P30系列实现的是“人人都能成为夜拍大师”，至少发朋友圈让人羡慕没什么问题。
P30 Pro：真正改变行业的设计思维
华为的P系列Pro机型一贯都有更大的摄影性能突破，P30 Pro自然也不例外，单看后置摄像头，它有三个比较重要的特性：
为弱光而生的RYYB色彩滤镜阵列
前面我们说了P30系列4000万像素主摄像头采用了四合一色彩滤镜像素阵列设计， P30 Pro稍稍改变了一下色彩滤镜的设计，将两个绿色G滤镜改成了黄色Y滤镜，也就是增加了长波长透过率，考虑到弱光成像是以长波段为主，所以RYYB阵列就是P30 Pro可支持ISO 409600的重要原因之一。 事实上在色彩滤镜阵列布局的历史长河中，除了稳如泰山的RGGB拜耳阵列之外，很多厂商都做过新的尝试，比如柯达用过CYYM、尼康和佳能使用过CYGM、富士一直都在使用的X-Trans……八仙过海各显神通，但目的不外乎是增强灵敏度或增强色彩表现，因为RGGB实在是太普及，基于它的猜色算法演进得非常成熟，而新阵列的出现意味着对算法有较大的压力，华为在这方面花了很长的时间，才有了现在的P30 Pro。
5倍光学变焦的潜望式长焦镜头
除了夜视之外， P30 Pro还有一项特技就是“望远镜”，后置四摄中就包含了一个800万大像素的潜望式长焦模组，在主摄为等效27mm的情况下，这颗长焦镜头的等效焦距达到了135mm，而且这是光学焦距而非数码焦距。潜望式设计的诀窍在于利用棱镜让入射光线90°反射，这样一来就能让镜组水平放置在机身内，而不会影响到最终厚度，在卡片相机时代，潜望式可以说是便携化的必备设计。
有了这颗等效135mm的长焦镜头，在2倍变焦焦段内是主摄数码变焦，3倍时就是主摄与长焦镜头共同成像，5倍及以上就是长焦镜头独立工作。
值得注意的是，超过5倍之后的长焦拍摄P30 Pro会启动多帧均值的方案来增强成像细节，辅以光学防抖机制的10倍混合变焦，也就是等效270mm下的成像效果是相当可用的，高频信息得到了较好的保留，最大甚至可以放大到等效1343mm（50倍），不过这个倍率下可以大致分辨物体，所以依然具备一定的实用性。
长久以来，手机相对专业相机最大的不足就是变焦，而随着P30 Pro以16mm F/2.2和27-135mm F/1.6-3.4的“双头套机”状态出现，即便只看光学焦段，也已经完整覆盖了传统相机厂商的基本配置，综合成像素质在手机载体上观看已经是绰绰有余，潜望式长焦设计也极有可能成为其他品牌争相采用的设计，但走在最前面的华为显然会更占先机。
辅助对焦与景深计算的后置ToF镜头
极弱光环境拍摄时往往会遇到一些小挑战，比如取景一片漆黑，拍摄时也不知道是否能对上焦， P30 Pro给出的方案就是后置ToF镜头，它的原理简单来说就是通过计算激光发射/反射时间差来获取距离信息，因为是主动式检测，所以即便是几乎全黑的环境下也能实现准确对焦，再加上本来它的光学景深就比较深，在极弱光环境下各种物距都能实现正确对焦。
比起弱光下自動对焦无法工作，手动对焦稍有偏差又会错失焦点的专业相机来说， P30 Pro的极弱光出片效率其实要高很多。
也正因为ToF镜头可以做距离计算，所以它也有利于提高人像模式虚化算法的视觉真实度，从我们的实拍来看，P30 Pro人像抠图细节比市面上大多数手机更准确。
仔细研究不难发现， P30 Pro 的虚化效果并不是单纯的前景背景高斯模糊，而是有比较好的距离细分，可以较好地模仿光学弥散圆的变化，当然有时候也会有瑕疵，但如果站在历史角度来看，进步其实是很明显的，已经可以满足普通家庭的人像拍摄需求。
总结
P30系列传递了一个重要的信息，就是华为将以手机摄影为核心来继续推动行业变革，在P20系列已经称霸一年有余的情况下，它丝毫没有“挤牙膏”的意思，而是在新产品线上继续积极采用全新技术，大幅增强了弱光和长焦拍摄性能，让P30系列再一次进入到一个其他品牌从未涉及的新领域，我们甚至可以说今年拍照性能最强的手机已经诞生了。随着华为在全球市场出货量的不断攀升，这种良性循环或许会长时间持续下去，未来着实可期。
“夜视仪”是如何炼成的？
首先，硬软兼施的多帧堆栈技术。去年的华为 P20系列可以说是一鸣惊人，DxOMark霸榜一年多，也被各路高手挑战了一年多，但可惜“一个能打的都没有”，所以解铃还须系铃人，当很多人都在琢磨P20 Pro是不是已经摸到了手机摄像头性能天花板，下一代还怎么玩的时候，刚刚发布的华为 P30系列便回答了这个问题。
先来看这个拍摄环境，可以发现因为环境光线昏暗，取景器里几乎看不清到底拍的是什么。
如果是一般的手机，这时候你就只能默默把它塞回裤兜，但如果你用的是P30系列，那么它会用最终照片告诉你，其实你可以看得很清晰。
这是晚上10点多，在灯光昏暗的住家小区内手持拍摄的照片，“夜视仪”的美名也因此而来，那么，P30系列是怎么做到的？
任何有数码相机摄影经验的玩家应该知道，弱光环境下的拍摄需要足够大的光圈和足够高的ISO才能保证出片亮度， P30的主摄为F/1.8光圈， P30 Pro则是F/1.6，都是比较大的光圈值，但即便如此，我们的拍摄环境也需要ISO 12800甚至更高才能实现拍摄，而且还需要上脚架才能保持画面稳定，手持就需要更进一步增加ISO，P30系列却通过手持的形式实现了比较干净的输出效果，其中最大的“秘诀”就是多帧堆栈技术。
我们知道弱光下的单次曝光需要相对较长的曝光时间，这也是它为什么很难手持的原因之一，而多帧技术的原理就是将原本的1秒曝光，切分为比如20次，也就是单帧1/20秒连拍20次，1/20秒的持稳难度显然比1秒要低很多，而且即便其中有一些帧模糊了也可以抽掉，结合其他帧的数据通过算法来补偿，从而实现最终堆栈出图效果与单帧几乎相同，但稳定性明显更高的目的。
这项技术在去年的P20 Pro上我们就体验过了，但很明显P30系列升级了算法细节，这次的夜景模式手持多帧后不仅对模糊区域的抽帧做得更好（比如有行人时依然可以输出没有动态模糊的照片），而且降噪涂抹算法对边缘区域的处理没有那么生硬，放大后观看也不会显得画面很干，高频信息保留度做得不错，事实上这也是P30系列弱光性能进化的第二个点。
其次，四合一像素阵列增强细节。从P20系列开始，华为就用上了4000万像素Quad Bayer阵列CMOS。想象一个传统拜耳阵列RGGB滤色镜像素组合，把每一个像素都一分为四，就变成了RRRR/GGGG/GGGG/BBBB的组合，因为每个新的像素都有自己的光电二极管和输出电路，所以它们都是一个个可独立积累入射光子的全功能像素，但在ISP处理时会默认为四合一，换句话说，在ISP眼里默认它们是1000万像素，在不改变CMOS面积的情况下为什么要这么费尽周折的设计？
其实目的是为了提高空间采样率，我们的拍摄的空间可以看作为一个连续线性系统，而相机的像素就是在这个系统中进行采样，显然采样率越高，越有利于空间信号特别是高频的恢复，在强光下这个设计可以更好地避免摩尔纹，在弱光下它可以尽量提供更多高频信息，从而增强P30系列的拍摄性能。
更重要的是，20万/40万ISO背后的硬软件加持。有了多帧，也有了四合一阵列像素，还需要一个重要的因素就是高感光度，而P30系列史无前例地提供了最高204800（P30）和409600（P30 Pro）的ISO值，即便是RAW拍摄也能提供最高ISO 6400的原始图像，高ISO意味着CMOS成像所需的光子总数不必太高，千万别小瞧这项技术，因为手机摄像头传感器像素密度非常大，光子逸出率比较高，像素之间的光响应值方差会相对较高（非均匀性响应），再加上密集排列的电压放大器和模数转换器，单单是模拟电路端的信噪比其实就很难保证，并且弱光下一定会有非常低的散粒噪声信噪比，可以说放眼整个影像行业，P30系列面临的挑战也都是前所未有的高。
但即便如此， P30系列在几乎没有光源，肉眼看上去完全是漆黑一片的環境里，依然可以手持拍摄并且能够清楚地交代所处的环境，能在这么少量的原始信息里榨取到有效内容，而且降噪算法还可以很好地保留细节，无论是硬件设计还是算法训练成熟度毫无疑问都是业界顶尖水准。
至于拍星空，其实跟超高ISO没有特别大的关系，因为一般星空摄影的ISO都不会超过3200，事实上光害较低的区域在没有月亮的晴朗夜晚，F/1.6或F/1.8级别光圈只需要ISO 400就能拍星星了，手机完全做得到，原生相机APP就支持手动模式原始格式输出的P30系列自然也不在话下，“手机能不能拍星空”这个话题压根就没什么可争辩的，但P30系列的优势就在于降噪算法很聪明，没有出现专业相机都曾出现过的“降噪吞星”问题，而且在环境条件很好的情况下可以通过多帧堆栈技术实现手持拍摄，这是其他手机目前很难做到的。
有较大ISO调整范围也就顺便增强了P30系列的弱光视频性能，在酒吧、影院、KTV等光线相对昏暗的环境下， P30系列也依然可以拍摄有充裕信息的4K视频。当然，任何弱光环境下，如果用专业相机高ISO并采用大光圈镜头也没问题，甚至效果更好，但这一套的成本可不低，很难做到拿出来就立马进行拍摄，还有很高的学习门槛，所以P30系列实现的是“人人都能成为夜拍大师”，至少发朋友圈让人羡慕没什么问题。
P30 Pro：真正改变行业的设计思维
华为的P系列Pro机型一贯都有更大的摄影性能突破，P30 Pro自然也不例外，单看后置摄像头，它有三个比较重要的特性：
为弱光而生的RYYB色彩滤镜阵列
前面我们说了P30系列4000万像素主摄像头采用了四合一色彩滤镜像素阵列设计， P30 Pro稍稍改变了一下色彩滤镜的设计，将两个绿色G滤镜改成了黄色Y滤镜，也就是增加了长波长透过率，考虑到弱光成像是以长波段为主，所以RYYB阵列就是P30 Pro可支持ISO 409600的重要原因之一。 事实上在色彩滤镜阵列布局的历史长河中，除了稳如泰山的RGGB拜耳阵列之外，很多厂商都做过新的尝试，比如柯达用过CYYM、尼康和佳能使用过CYGM、富士一直都在使用的X-Trans……八仙过海各显神通，但目的不外乎是增强灵敏度或增强色彩表现，因为RGGB实在是太普及，基于它的猜色算法演进得非常成熟，而新阵列的出现意味着对算法有较大的压力，华为在这方面花了很长的时间，才有了现在的P30 Pro。
5倍光学变焦的潜望式长焦镜头
除了夜视之外， P30 Pro还有一项特技就是“望远镜”，后置四摄中就包含了一个800万大像素的潜望式长焦模组，在主摄为等效27mm的情况下，这颗长焦镜头的等效焦距达到了135mm，而且这是光学焦距而非数码焦距。潜望式设计的诀窍在于利用棱镜让入射光线90°反射，这样一来就能让镜组水平放置在机身内，而不会影响到最终厚度，在卡片相机时代，潜望式可以说是便携化的必备设计。
有了这颗等效135mm的长焦镜头，在2倍变焦焦段内是主摄数码变焦，3倍时就是主摄与长焦镜头共同成像，5倍及以上就是长焦镜头独立工作。
值得注意的是，超过5倍之后的长焦拍摄P30 Pro会启动多帧均值的方案来增强成像细节，辅以光学防抖机制的10倍混合变焦，也就是等效270mm下的成像效果是相当可用的，高频信息得到了较好的保留，最大甚至可以放大到等效1343mm（50倍），不过这个倍率下可以大致分辨物体，所以依然具备一定的实用性。
长久以来，手机相对专业相机最大的不足就是变焦，而随着P30 Pro以16mm F/2.2和27-135mm F/1.6-3.4的“双头套机”状态出现，即便只看光学焦段，也已经完整覆盖了传统相机厂商的基本配置，综合成像素质在手机载体上观看已经是绰绰有余，潜望式长焦设计也极有可能成为其他品牌争相采用的设计，但走在最前面的华为显然会更占先机。
辅助对焦与景深计算的后置ToF镜头
极弱光环境拍摄时往往会遇到一些小挑战，比如取景一片漆黑，拍摄时也不知道是否能对上焦， P30 Pro给出的方案就是后置ToF镜头，它的原理简单来说就是通过计算激光发射/反射时间差来获取距离信息，因为是主动式检测，所以即便是几乎全黑的环境下也能实现准确对焦，再加上本来它的光学景深就比较深，在极弱光环境下各种物距都能实现正确对焦。
比起弱光下自動对焦无法工作，手动对焦稍有偏差又会错失焦点的专业相机来说， P30 Pro的极弱光出片效率其实要高很多。
也正因为ToF镜头可以做距离计算，所以它也有利于提高人像模式虚化算法的视觉真实度，从我们的实拍来看，P30 Pro人像抠图细节比市面上大多数手机更准确。
仔细研究不难发现， P30 Pro 的虚化效果并不是单纯的前景背景高斯模糊，而是有比较好的距离细分，可以较好地模仿光学弥散圆的变化，当然有时候也会有瑕疵，但如果站在历史角度来看，进步其实是很明显的，已经可以满足普通家庭的人像拍摄需求。
总结
P30系列传递了一个重要的信息，就是华为将以手机摄影为核心来继续推动行业变革，在P20系列已经称霸一年有余的情况下，它丝毫没有“挤牙膏”的意思，而是在新产品线上继续积极采用全新技术，大幅增强了弱光和长焦拍摄性能，让P30系列再一次进入到一个其他品牌从未涉及的新领域，我们甚至可以说今年拍照性能最强的手机已经诞生了。随着华为在全球市场出货量的不断攀升，这种良性循环或许会长时间持续下去，未来着实可期。