论文部分内容阅读
计算摄影学(Computational Photography)是一门将计算机视觉、数字信号处理、图形学等深度交叉的新兴学科,旨在结合计算、数字传感器、光学系统和智能光照等技术,从成像机理上来改进传统相机,并将硬件设计与软件计算能力有机结合,突破经典成像模型和数字相机的局限性,全方位地捕捉真实世界的场景信息。
从今年的影像市场业绩来看,数码单反相机似乎已经死了一半,佳能在7月28日发布的今年4~6月份的业绩报告显示,该公司遭遇史上首个季度亏损,4~6月的销售额同比下滑26%;实现营收449亿元,同比下降25.7%;亏损5.87亿元,去年同期为盈利。
我们家里有价值几万元的影像设备,但旅行时却带了iPhone,为什么?因为摄影的整个体系变化了。
斯坦福大学教授兼计算机摄影先驱马克·莱沃伊(他也是Google Pixel相机许多创新的幕后人物)给出了另一个定义——计算机成像技术增强或扩展数字摄影,传统相机无法实现的能力。
计算摄影不仅仅来自手机自拍的软件算法背景虚化,如果不使用计算摄影方法,就不会拍摄黑洞的照片。要使用标准望远镜拍摄此类照片,我们必须使其体积达到地球的大小。但是,通过组合地球不同位置的八个射电望远镜的数据并编写一些很酷的Python脚本,人类获得了世界上第一张黑洞图。
以Instagram(照片墙)为例,这是一款运行在移动端上的社交应用,以一种快速、美妙和有趣的方式将你随时抓拍下的图片彼此分享,每个人都沉迷于其中的照片滤镜,包括X-Pro II、Lo-Fi和Valencia三個部分。
现代的智能手机和APP上有更多的照片滤镜,从数字角度来看比Ins的照片滤镜更加复杂。智能手机上的硬件着色器和OpenCL的出现,可以应用到GPU,这被认为是非常具有科技含量。
自动化的应用通过打开照片编辑器,来完成过去摄影师花大量时间做的工作,如固定灯光和增加拍摄物的阴影角度,增加亮度,消除红眼,甚至化妆。如今,只是修改几行新代码的事情。
如今,数字处理的优化按钮已转移到机器学习领域,一些人甚至都懒到不想去拖动对比度或者曝光值,而是寄希望于计算机为他们移动滑块。换句话说,使用输入图像来确定一组最佳参数,这些参数将使给定图像更接近于对“良好摄影”的特定主观理解。说起来有些拗口,实际上就是希望计算机能傻瓜化地达到自己想要的影像图片调整效果。
比如“放大并增强”图片容量和质量是陈词滥调,但是AI的进步正在慢慢将其变为现实。研究人员表明,机器学习可以放大低分辨率图像,恢复以前没有的清晰度。现在,这项技术正在向消费者推广,图像编辑器Pixelmator率先提供了这种功能。
过去几年中,像Google和Nvidia这样的科技公司都在创建自己的算法,软件在是包含成对的低分辨率和高分辨率图像的数据集上进行训练的。该算法比较此数据,并创建像素如何在图像之间变化的规则。然后,当显示以前从未见过的低分辨率图片时,它会预测需要额外的像素并将其插入。
这种算法与通常大50倍的研究算法相比,产生的数据容量只有5MB的大小,它针对一系列图像进行了训练,以预测用户的不同需求,训练数据集也不大,仅需15000个样本即可创建Pixelmator的ML超分辨率工具。现在线上还有很多类似的超分辨率工具,包括BigJPG.com和LetsEnhance.io,这些都是未来数字处理的方向。
从今年的影像市场业绩来看,数码单反相机似乎已经死了一半,佳能在7月28日发布的今年4~6月份的业绩报告显示,该公司遭遇史上首个季度亏损,4~6月的销售额同比下滑26%;实现营收449亿元,同比下降25.7%;亏损5.87亿元,去年同期为盈利。
我们家里有价值几万元的影像设备,但旅行时却带了iPhone,为什么?因为摄影的整个体系变化了。
什么是计算摄影?
斯坦福大学教授兼计算机摄影先驱马克·莱沃伊(他也是Google Pixel相机许多创新的幕后人物)给出了另一个定义——计算机成像技术增强或扩展数字摄影,传统相机无法实现的能力。
计算摄影不仅仅来自手机自拍的软件算法背景虚化,如果不使用计算摄影方法,就不会拍摄黑洞的照片。要使用标准望远镜拍摄此类照片,我们必须使其体积达到地球的大小。但是,通过组合地球不同位置的八个射电望远镜的数据并编写一些很酷的Python脚本,人类获得了世界上第一张黑洞图。
数字处理的魅力
以Instagram(照片墙)为例,这是一款运行在移动端上的社交应用,以一种快速、美妙和有趣的方式将你随时抓拍下的图片彼此分享,每个人都沉迷于其中的照片滤镜,包括X-Pro II、Lo-Fi和Valencia三個部分。
现代的智能手机和APP上有更多的照片滤镜,从数字角度来看比Ins的照片滤镜更加复杂。智能手机上的硬件着色器和OpenCL的出现,可以应用到GPU,这被认为是非常具有科技含量。
自动化的应用通过打开照片编辑器,来完成过去摄影师花大量时间做的工作,如固定灯光和增加拍摄物的阴影角度,增加亮度,消除红眼,甚至化妆。如今,只是修改几行新代码的事情。
像素增强器中的ML增强
如今,数字处理的优化按钮已转移到机器学习领域,一些人甚至都懒到不想去拖动对比度或者曝光值,而是寄希望于计算机为他们移动滑块。换句话说,使用输入图像来确定一组最佳参数,这些参数将使给定图像更接近于对“良好摄影”的特定主观理解。说起来有些拗口,实际上就是希望计算机能傻瓜化地达到自己想要的影像图片调整效果。
比如“放大并增强”图片容量和质量是陈词滥调,但是AI的进步正在慢慢将其变为现实。研究人员表明,机器学习可以放大低分辨率图像,恢复以前没有的清晰度。现在,这项技术正在向消费者推广,图像编辑器Pixelmator率先提供了这种功能。
过去几年中,像Google和Nvidia这样的科技公司都在创建自己的算法,软件在是包含成对的低分辨率和高分辨率图像的数据集上进行训练的。该算法比较此数据,并创建像素如何在图像之间变化的规则。然后,当显示以前从未见过的低分辨率图片时,它会预测需要额外的像素并将其插入。
这种算法与通常大50倍的研究算法相比,产生的数据容量只有5MB的大小,它针对一系列图像进行了训练,以预测用户的不同需求,训练数据集也不大,仅需15000个样本即可创建Pixelmator的ML超分辨率工具。现在线上还有很多类似的超分辨率工具,包括BigJPG.com和LetsEnhance.io,这些都是未来数字处理的方向。