论文部分内容阅读
职业的人像摄影师能够通过专用设备（例如外置闪光灯与反光板）和专业知识，捕捉恰到好处的光照效果，从而拍摄出令人称道的照片。为了让用户更好地拍出专业的人像外观，近期谷歌发布了人像光效 （Portrait Light），这是专为Pixel手机和其相册应用推出的一项新的摄影后期功能，可为人像添加模拟的定向光源，在方向与强度两方面补充原始照片的光效。
手机拍摄后，用户可以根据自己的喜好调整人像光效
在Pixel的最新系列相机中，人像光效会自动对默认模式下的图片和包含人的夜景照片（无论只有一人还是一小群人时）应用摄影后期功能。在人像模式照片中，人像光效配合已有的浅景深特效，提供光影，带来在摄影棚中才能实现的效果。由于对光影的喜好因人而异，因此Pixel 用户在人像模式下可根据自己的喜好，在谷歌相册中手动重新定位和调整所应用光线的亮度。对于在Pixel 2或后续型号上运行谷歌相册的用户，这种补光功能也可用于许多先前拍摄的人像照片。
根据输入人像估算高动态范围全向光照轮廓：每张图片右侧的三个球体，即漫反射（顶部）、亚光银（中间）和镜面（底部）使用估算的照明进行渲染，每个球体都反映环境照明的颜色、强度和方向
受人像摄影师使用的外置光源的启发，人像光效构建了一个在场景中可被重新定位的光源模型，并根据初始光影方向与强度自动进行对照片光影的补充。利用新的机器学习模型来实现这一点，每项模型都使用在Light Stage计算照明系统中捕获的照片数据集进行训练。这些模型支持以下两种新算法：自动定向光补充 （Automatic directional light placement）：对于给定的人像，该算法将合成的定向光放置于场景中，与摄影师在现实世界中补充外置光源的方式一致。拍摄后合成补光 （Synthetic post-capture relighting）：对于给定的照明方向和人像，以看起来真实且自然的方式添加合成光。
摄影师通常依靠感知线索决定如何使用外置光源增强环境光照，他们评估落在脸上的光照强度和方向，并调整拍摄对象的头部姿势以补充光线。为了引导人像光效自动放置光源，谷歌开发了这两种感知信号的等效计算。
首先，训练了一种全新的机器学习模型，根据输入的人像估算场景的高动态范围全向光照轮廓。这种新的光照估算模型将人脸视为光探头，推断所有方向的场景中所有光源的方向、相对强度和颜色，使用MediaPipe Face Mesh估算人像拍摄对象的头部姿势。
通过这些线索，可以确定合成光照的源方向。在摄影棚人像摄影中，仰视场景时，主外置光源或主光位于视线上方约 30°处，与照相机轴偏离30°至 60°。遵循这个经典人像外观准则，增强场景中任何预先存在的光照方向，同时力求达到平衡、巧妙的主光与补光光照比（约 2：1）。
图中的亮点360度旋转，可照亮一个人面部的各个角度，用于模拟光照效果
根据所需的光照方向和人像，接下来训练一个新的机器学习模型，以便将定向光源的照明添加到原始照片中。训练模型需要提供数百万对带有和不带额外光线的人像。在正常情况下拍摄此类数据集将是不可能的，因为它需要近乎完美地匹配在不同光照条件下拍摄的人像。
取而代之的是，通过使用Light Stage计算照明系统拍摄 70 个不同的人来生成训练数据。这种球形照明装置包括 64个视角不同的照相机和 331个可单独编程的 LED光源。拍摄每种光线照射下的每个个体（one-light-at-a-time，OLAT），这将生成其反射场或球形环境的离散部分所照亮的外观。
来自反射场的示例图像，可以实现全方位的后期补光
反射场编码拍摄对象的皮肤、头发和衣服的独特颜色和反光属性，即每种材料的光泽或暗淡程度。由于光的叠加原理，这些 OLAT 图片可以线性叠加在一起，以渲染出逼真的拍摄对象图片，就像被摄者出现在任何基于图片的照明环境中一样，并正确地表现出光影的效果。
当摄影师在场景中添加额外的光源时，光源相对于拍摄对象的面部几何形状的方向将决定面部每个部分的亮度。为了对光源从相对无光表面反射的光学行为建模，首先训练一个机器学习模型，以根据输入的照片估算表面法線，然后应用兰伯特定律计算所需照明方向的“光可见性图”。
补光系统根据输入人像，估算每个像素的表面法线，然后将其用于计算光可见性图。对模型进行训练以生成低分辨率图片，在采样并应用于原始图片时，移动设备上可以以交互式帧速率运行，并且合成图片的总容量大小不到10 MB。
对于使用双重曝光控制的用户，可以在拍摄后应用人像光效，以获得更大的创作灵活性，在光影之间找到适当的平衡。在谷歌照片库的现有图片上，针对面部曝光不足之处尝试使用人像光效，让拍摄对象光彩照人，它特别适合处理单人直面相机摆姿势的图片。机器学习正在开启手机摄像的创意摄影后期光照控制，而人像光效是这一旅程的第一步。
在Pixel的最新系列相机中，人像光效会自动对默认模式下的图片和包含人的夜景照片（无论只有一人还是一小群人时）应用摄影后期功能。在人像模式照片中，人像光效配合已有的浅景深特效，提供光影，带来在摄影棚中才能实现的效果。由于对光影的喜好因人而异，因此Pixel 用户在人像模式下可根据自己的喜好，在谷歌相册中手动重新定位和调整所应用光线的亮度。对于在Pixel 2或后续型号上运行谷歌相册的用户，这种补光功能也可用于许多先前拍摄的人像照片。
受人像摄影师使用的外置光源的启发，人像光效构建了一个在场景中可被重新定位的光源模型，并根据初始光影方向与强度自动进行对照片光影的补充。利用新的机器学习模型来实现这一点，每项模型都使用在Light Stage计算照明系统中捕获的照片数据集进行训练。这些模型支持以下两种新算法：自动定向光补充 （Automatic directional light placement）：对于给定的人像，该算法将合成的定向光放置于场景中，与摄影师在现实世界中补充外置光源的方式一致。拍摄后合成补光 （Synthetic post-capture relighting）：对于给定的照明方向和人像，以看起来真实且自然的方式添加合成光。
自动光源补充
摄影师通常依靠感知线索决定如何使用外置光源增强环境光照，他们评估落在脸上的光照强度和方向，并调整拍摄对象的头部姿势以补充光线。为了引导人像光效自动放置光源，谷歌开发了这两种感知信号的等效计算。
首先，训练了一种全新的机器学习模型，根据输入的人像估算场景的高动态范围全向光照轮廓。这种新的光照估算模型将人脸视为光探头，推断所有方向的场景中所有光源的方向、相对强度和颜色，使用MediaPipe Face Mesh估算人像拍摄对象的头部姿势。
通过这些线索，可以确定合成光照的源方向。在摄影棚人像摄影中，仰视场景时，主外置光源或主光位于视线上方约 30°处，与照相机轴偏离30°至 60°。遵循这个经典人像外观准则，增强场景中任何预先存在的光照方向，同时力求达到平衡、巧妙的主光与补光光照比（约 2：1）。
由数据驱动的人像补光
根据所需的光照方向和人像，接下来训练一个新的机器学习模型，以便将定向光源的照明添加到原始照片中。训练模型需要提供数百万对带有和不带额外光线的人像。在正常情况下拍摄此类数据集将是不可能的，因为它需要近乎完美地匹配在不同光照条件下拍摄的人像。
取而代之的是，通过使用Light Stage计算照明系统拍摄 70 个不同的人来生成训练数据。这种球形照明装置包括 64个视角不同的照相机和 331个可单独编程的 LED光源。拍摄每种光线照射下的每个个体（one-light-at-a-time，OLAT），这将生成其反射场或球形环境的离散部分所照亮的外观。
反射场编码拍摄对象的皮肤、头发和衣服的独特颜色和反光属性，即每种材料的光泽或暗淡程度。由于光的叠加原理，这些 OLAT 图片可以线性叠加在一起，以渲染出逼真的拍摄对象图片，就像被摄者出现在任何基于图片的照明环境中一样，并正确地表现出光影的效果。
通过几何估算监督补光
当摄影师在场景中添加额外的光源时，光源相对于拍摄对象的面部几何形状的方向将决定面部每个部分的亮度。为了对光源从相对无光表面反射的光学行为建模，首先训练一个机器学习模型，以根据输入的照片估算表面法線，然后应用兰伯特定律计算所需照明方向的“光可见性图”。
补光系统根据输入人像，估算每个像素的表面法线，然后将其用于计算光可见性图。对模型进行训练以生成低分辨率图片，在采样并应用于原始图片时，移动设备上可以以交互式帧速率运行，并且合成图片的总容量大小不到10 MB。
对于使用双重曝光控制的用户，可以在拍摄后应用人像光效，以获得更大的创作灵活性，在光影之间找到适当的平衡。在谷歌照片库的现有图片上，针对面部曝光不足之处尝试使用人像光效，让拍摄对象光彩照人，它特别适合处理单人直面相机摆姿势的图片。机器学习正在开启手机摄像的创意摄影后期光照控制，而人像光效是这一旅程的第一步。