论文部分内容阅读
摘要：高动态范围成像已经成为数字显微镜发展的一大趋势。目前视频级高动态范围显微成像技术由于计算复杂度较高，还无法做到实时处理和显示。提出利用高清电视领域中的REc.2020色域变换，结合GPu实时加速处理技术，成功实现了高动态范围显微图像视频流的实时显示，图像具有良好的色彩还原性和细节恢复性。实验结果表明，设计的算法不仅能够提供稳定的高清、高动态范围视频，其细节和色彩还原性也有了很大的提高，突破了传统的高动态范围图像技术在成像速度和质量方面的限制。
关键词：高动态范围（H1）R）;视频级REc.2020;GPU实时加速处理
中图分类号：TP37 文献标志码：A
引言
近年来，随着计算机和图像传感器制造技术的迅速发展，高动态范围成像（high dynamicrange，HDR）已成为数字显微镜领域发展的一大趋势。尽管图像传感器的性能在不断提高，但是其动态范围不足始终制约着数码显微镜向高清化发展。目前市场上的显微图像传感器拍摄的图像会出现曝光过度或者曝光不足的现象，从而导致在某些区域图像细节的缺失。
与数码显微镜产品发展类似，电视系统也在向高清、高色彩还原性等方向发展。2012年8月，ITU整合了日本SuperHi-Vision 8K超高清电视广播系统与世界主流的4K超高清电视广播系统技术规范，推出了REC.2020超高清电视广播系统与节目源制作国际标准。该标准不仅定义了传统意义上的高清分辨率，也定义了RGB色彩空间向其空间转换的标准。1993年，Mann最先提出高动态范围成像的概念，并利用单传感器采集多曝光图像，使用相机相应曲线融合多曝光图像序列，以达到扩展图像动态范围的目的。但是，该方法只能适用于灰度图像，并不适用于彩色图像。Debevec和Malik真正实现了现代高动态范围技术。首先，通过光曝光图像序列恢复出真实场景中的光谱图，通常利用32 bit浮点数表达每1个像素点。然后，采用色调映射技术将32 bit的数值映射到8 bit，这样传统的显示装置就可以显示高动态范围图像。在单传感器方法的基础上，2011年，Tocei提出并实现了一种多传感器方法，通过使用分光棱镜和耦合器，实现多传感器同时工作，并进行高动态范围合成，但是处理速度非常慢，不足以达到实时处理的效果。
在显微镜领域，由于分光和多传感器方法需要增加和修改显微镜光学系统而没有被采用，也没有出现相应的商业化产品;反而是单传感器方案，由于陕速图像传感器的出现和计算机处理速度的加快而被采用，目前市场上只有国外的基恩士和浩视的产品具有相类似的功能。2013年，本文作者提出一种基于GPU实时加速的高动态范围成像算法，实现了动态显示高动态范围成像。
本文优化了GPU实时加速处理技术，实现了实时生成高动态范围视频，同时引入REC.2020高清色域变换提升算法的色彩还原性。利用参数可调的局部色调映射技术实时显示高动态范围视频。实验结果表明，本文提出的方法得到的高动态范围视频质量比传统方法得到的图像质量要高，图像细节和色彩还原性都得到了较大的提升。同时由于GPU实时加速处理技术的应用，本文的方法需要的处理时间低，可以达到视频级高动态范围成像效果。
1高动态范围显微成像技术
视频级的高动态范围成像利用一个相机稳定地采集多幅曝光图像，形成图像序列。利用高动态范围光谱合成技术和色调映射技术进行处理和显示高动态范围视频，做到实时观测和成像。本文采用高动态范围视频成像的4个步骤：（1）相机标定;（2）多曝光图像序列采集;（3）构建高动态范围光谱图;（4）色调映射光谱图以显示高动态范围视频。
1.1相机标定
相机标定主要是利用相机采集不同曝光时间的图像序列，以标定出相机的像素值与真实的高动态光谱图之间的曲线关系，便于后续基于所采集到的多曝光图像序列构建高动态光谱图。
1.2多曝光图像序列采集
采集多曝光图像序列，并保存到计算机的CPU中是非常耗时间的。同时相机需要一定的稳定时间以适应新的不同的曝光时间。为了实现实时采集和稳定采集，稳定时间设定为这样我们将该窗口内所有的像素点用上述方法进行色调映射，以保证其可以被普通的显示设备显示。
2基于GPu实时加速技术
GPU实时加速技术是整个算法的核心内容，也是实现实时高动态范围成像的关键。根据13中介绍的高动态范围光谱图构建方式，本文提出一种新的高动态范围GLSL算法核心，将相机采图、实时处理和合成结合在一起，如图1所示。该方法实现在相机采图过程中，实时构建高动态范围光谱图。完成高动态范围光谱图的构建之后，将该光谱图输入到色调映射流程中进行映射，以保证可以在传统的显示设备上显示高动态范围视频和图像，如图2所示。
通过实验，采集2幅不同曝光时间的图像可以做到扩展动态范围和实时性的平衡。通过调节相机的稳定时间，可以在一个循环内稳定地采集2幅图像，并作为纹理输入到显卡GPU中的显存中。然后顶点操作是将图像的4个角点作为纹理的顶点，这樣可以保留图像的分辨率信息。片段操作是将构建高动态范围光谱图的算法作为内核并行地运用到纹理的每一个点，最终实现并行计算和输出。
3实验结果分析
3.1实验设备
为了展示GPU实时加速处理的计算效率，本文采用Intel i7-4790处理器，运行Windows10（64位）系统，显卡采用NVidia GeForce GTX1060。实验用的显微镜为宁波永新光学的NM900金相显微镜，并配以NEXCAM-T16摄像头，其采图分辨率最大可达4648x3506。该相机在不同分辨率下帧率也不相同，分别为6.0@4648x3506，15@2304x1750，30@1536x1168。本文的相机的分辨率为1536x1168，采集帧率为30帧/s。在HDR的模式下，由于需要同时采集长短曝光时间的图像，然后输入到GPU内存中，所以实时显示帧率达到14.55帧/s，如图3所示。 3.2成像质量评价方法
本文提出的算法的效果与2015年前作者发表的算法的成像效果做了实验对比。通过对比信噪比、色差和高动态质量评价等参数，结果显示本文提出的算法不仅可以实现视频级的实时高动态范围成像，同时在成像质量和色彩还原性方面也有了一定程度地提升。
3.2.2色差
色差是处理后的图像与原始图像在色彩空间的距离，两者之间的距离越大说明两者的色差越大。高动态范围成像技术由于采用色调映射技术，色差也会出现在映射之后的图像中。本文采用Lab色彩空间来衡量高动态范围处理后的图像与未处理过的图像之间的色差。
首先将图像IRGB由RGB空间变换到Lab空间，得到变换后的图像ILab。然后计算图像在Lab空间上的平均欧式距离CDiff其表达式为
3.3实验结果
本文选取常用的金相样品进行实验，金属电路板上的电阻。为了验证本文提出的新的高动态成像算法的效果，实验选取了3个成像模式进行比较：自动曝光模式、作者提出的HDR算法和本文算法。观测圈中的区域可得，图像在自动曝光模式下会出现曝光过度从而导致有些区域的细节无法拍清楚。而之前的HDR整体亮度不足，同时会存在局部模糊的现象。新的算法在保持整体亮度的同时，去除了模糊的噪声。由于使用了REC.2020色域变换，新算法在色彩還原性上比之前的算法更接近于样品本身的颜色。
首先实验选取了一块电路板上的电阻表面作为观测场景。该场景表面的高低差比较大。除了电阻表面的区域是清楚的，其余区域由于显微镜景深不足的问题而导致模糊情况发生。由图4（a）中可见圈中的场景出现了过曝的情况而导致在该区域缺少细节。图4（b）和图4（c）的两种高动态范围成像方法可以恢复出细节，但是新方法的色差相比较之前的方法提升了33.5%，图4（d）中横坐标分为信噪比、色差、高动态质量评价，纵坐标是通过计算得出的数值。
4结论
本文提出一种基于REC.2020高清色域的视频级显微高动态范围成像方法。REC.2020高清色域以其高清和高色彩还原性而被广泛应用于高清电视领域。将REC.2020色域变换引入到高动态范围成像技术中，可以使色调映射之后的图像颜色更接近于人眼观测的颜色。由于高动态范围成像技术的算法复杂度要求比较高，仅利用CPU处理无法达到视频级成像。GPU实时加速处理技术利用并行计算的方式，全面提高算法的整体速度，做到实时处理、显示，可满足用户实时观测高动态范围图像的要求。实验结果表明，本算法在兼顾算法实时性的前提下，恢复了处理后图像的原始细节，提高了色彩还原性和图像质量，使其色彩和纹理更加丰富。本方法对于陕速的高动态成像方法具有一定的指导意义，为后续基于多传感器高动态范围成像技术的发展和显微三维重建提供了有力的技术支撑。
关键词：高动态范围（H1）R）;视频级REc.2020;GPU实时加速处理
中图分类号：TP37 文献标志码：A
引言
近年来，随着计算机和图像传感器制造技术的迅速发展，高动态范围成像（high dynamicrange，HDR）已成为数字显微镜领域发展的一大趋势。尽管图像传感器的性能在不断提高，但是其动态范围不足始终制约着数码显微镜向高清化发展。目前市场上的显微图像传感器拍摄的图像会出现曝光过度或者曝光不足的现象，从而导致在某些区域图像细节的缺失。
与数码显微镜产品发展类似，电视系统也在向高清、高色彩还原性等方向发展。2012年8月，ITU整合了日本SuperHi-Vision 8K超高清电视广播系统与世界主流的4K超高清电视广播系统技术规范，推出了REC.2020超高清电视广播系统与节目源制作国际标准。该标准不仅定义了传统意义上的高清分辨率，也定义了RGB色彩空间向其空间转换的标准。1993年，Mann最先提出高动态范围成像的概念，并利用单传感器采集多曝光图像，使用相机相应曲线融合多曝光图像序列，以达到扩展图像动态范围的目的。但是，该方法只能适用于灰度图像，并不适用于彩色图像。Debevec和Malik真正实现了现代高动态范围技术。首先，通过光曝光图像序列恢复出真实场景中的光谱图，通常利用32 bit浮点数表达每1个像素点。然后，采用色调映射技术将32 bit的数值映射到8 bit，这样传统的显示装置就可以显示高动态范围图像。在单传感器方法的基础上，2011年，Tocei提出并实现了一种多传感器方法，通过使用分光棱镜和耦合器，实现多传感器同时工作，并进行高动态范围合成，但是处理速度非常慢，不足以达到实时处理的效果。
在显微镜领域，由于分光和多传感器方法需要增加和修改显微镜光学系统而没有被采用，也没有出现相应的商业化产品;反而是单传感器方案，由于陕速图像传感器的出现和计算机处理速度的加快而被采用，目前市场上只有国外的基恩士和浩视的产品具有相类似的功能。2013年，本文作者提出一种基于GPU实时加速的高动态范围成像算法，实现了动态显示高动态范围成像。
本文优化了GPU实时加速处理技术，实现了实时生成高动态范围视频，同时引入REC.2020高清色域变换提升算法的色彩还原性。利用参数可调的局部色调映射技术实时显示高动态范围视频。实验结果表明，本文提出的方法得到的高动态范围视频质量比传统方法得到的图像质量要高，图像细节和色彩还原性都得到了较大的提升。同时由于GPU实时加速处理技术的应用，本文的方法需要的处理时间低，可以达到视频级高动态范围成像效果。
1高动态范围显微成像技术
视频级的高动态范围成像利用一个相机稳定地采集多幅曝光图像，形成图像序列。利用高动态范围光谱合成技术和色调映射技术进行处理和显示高动态范围视频，做到实时观测和成像。本文采用高动态范围视频成像的4个步骤：（1）相机标定;（2）多曝光图像序列采集;（3）构建高动态范围光谱图;（4）色调映射光谱图以显示高动态范围视频。
1.1相机标定
相机标定主要是利用相机采集不同曝光时间的图像序列，以标定出相机的像素值与真实的高动态光谱图之间的曲线关系，便于后续基于所采集到的多曝光图像序列构建高动态光谱图。
1.2多曝光图像序列采集
采集多曝光图像序列，并保存到计算机的CPU中是非常耗时间的。同时相机需要一定的稳定时间以适应新的不同的曝光时间。为了实现实时采集和稳定采集，稳定时间设定为这样我们将该窗口内所有的像素点用上述方法进行色调映射，以保证其可以被普通的显示设备显示。
2基于GPu实时加速技术
GPU实时加速技术是整个算法的核心内容，也是实现实时高动态范围成像的关键。根据13中介绍的高动态范围光谱图构建方式，本文提出一种新的高动态范围GLSL算法核心，将相机采图、实时处理和合成结合在一起，如图1所示。该方法实现在相机采图过程中，实时构建高动态范围光谱图。完成高动态范围光谱图的构建之后，将该光谱图输入到色调映射流程中进行映射，以保证可以在传统的显示设备上显示高动态范围视频和图像，如图2所示。
通过实验，采集2幅不同曝光时间的图像可以做到扩展动态范围和实时性的平衡。通过调节相机的稳定时间，可以在一个循环内稳定地采集2幅图像，并作为纹理输入到显卡GPU中的显存中。然后顶点操作是将图像的4个角点作为纹理的顶点，这樣可以保留图像的分辨率信息。片段操作是将构建高动态范围光谱图的算法作为内核并行地运用到纹理的每一个点，最终实现并行计算和输出。
3实验结果分析
3.1实验设备
为了展示GPU实时加速处理的计算效率，本文采用Intel i7-4790处理器，运行Windows10（64位）系统，显卡采用NVidia GeForce GTX1060。实验用的显微镜为宁波永新光学的NM900金相显微镜，并配以NEXCAM-T16摄像头，其采图分辨率最大可达4648x3506。该相机在不同分辨率下帧率也不相同，分别为6.0@4648x3506，15@2304x1750，30@1536x1168。本文的相机的分辨率为1536x1168，采集帧率为30帧/s。在HDR的模式下，由于需要同时采集长短曝光时间的图像，然后输入到GPU内存中，所以实时显示帧率达到14.55帧/s，如图3所示。 3.2成像质量评价方法
本文提出的算法的效果与2015年前作者发表的算法的成像效果做了实验对比。通过对比信噪比、色差和高动态质量评价等参数，结果显示本文提出的算法不仅可以实现视频级的实时高动态范围成像，同时在成像质量和色彩还原性方面也有了一定程度地提升。
3.2.2色差
色差是处理后的图像与原始图像在色彩空间的距离，两者之间的距离越大说明两者的色差越大。高动态范围成像技术由于采用色调映射技术，色差也会出现在映射之后的图像中。本文采用Lab色彩空间来衡量高动态范围处理后的图像与未处理过的图像之间的色差。
首先将图像IRGB由RGB空间变换到Lab空间，得到变换后的图像ILab。然后计算图像在Lab空间上的平均欧式距离CDiff其表达式为
3.3实验结果
本文选取常用的金相样品进行实验，金属电路板上的电阻。为了验证本文提出的新的高动态成像算法的效果，实验选取了3个成像模式进行比较：自动曝光模式、作者提出的HDR算法和本文算法。观测圈中的区域可得，图像在自动曝光模式下会出现曝光过度从而导致有些区域的细节无法拍清楚。而之前的HDR整体亮度不足，同时会存在局部模糊的现象。新的算法在保持整体亮度的同时，去除了模糊的噪声。由于使用了REC.2020色域变换，新算法在色彩還原性上比之前的算法更接近于样品本身的颜色。
首先实验选取了一块电路板上的电阻表面作为观测场景。该场景表面的高低差比较大。除了电阻表面的区域是清楚的，其余区域由于显微镜景深不足的问题而导致模糊情况发生。由图4（a）中可见圈中的场景出现了过曝的情况而导致在该区域缺少细节。图4（b）和图4（c）的两种高动态范围成像方法可以恢复出细节，但是新方法的色差相比较之前的方法提升了33.5%，图4（d）中横坐标分为信噪比、色差、高动态质量评价，纵坐标是通过计算得出的数值。
4结论
本文提出一种基于REC.2020高清色域的视频级显微高动态范围成像方法。REC.2020高清色域以其高清和高色彩还原性而被广泛应用于高清电视领域。将REC.2020色域变换引入到高动态范围成像技术中，可以使色调映射之后的图像颜色更接近于人眼观测的颜色。由于高动态范围成像技术的算法复杂度要求比较高，仅利用CPU处理无法达到视频级成像。GPU实时加速处理技术利用并行计算的方式，全面提高算法的整体速度，做到实时处理、显示，可满足用户实时观测高动态范围图像的要求。实验结果表明，本算法在兼顾算法实时性的前提下，恢复了处理后图像的原始细节，提高了色彩还原性和图像质量，使其色彩和纹理更加丰富。本方法对于陕速的高动态成像方法具有一定的指导意义，为后续基于多传感器高动态范围成像技术的发展和显微三维重建提供了有力的技术支撑。