论文部分内容阅读
伴随着移动互联网的发展,产生了海量的图像和视频数据,对这些图像和视频数据进行处理与编辑得到了大家的高度重视。最近提出的基于双向相似函数的方法使用双向能量函数来衡量原图和输出图的关系,通过对该能量函数进行优化得到相应的图像合成与编辑应用。该方法具有合成质量高、应用范围广的特点,但由于采用类似期望值最大化方法(Expectation Maximization, EM)进行迭代优化,使其图像编辑速度慢,难以应用于图像的快速合成和编辑。此外,该方法可控性较差,使得用户难以控制处理效果。本文从提高处理速度、改善处理效果两个方面对基于双向相似函数的图像编辑方法展开研究。首先,针对在能量迭代优化过程中的高耗时最近邻域搜索问题,采用GPU来完成所有计算密集的核心函数,实现了并行加速。在上述快速优化双向相似函数的基础上,进一步实现了基于能量优化的纹理合成与快速流场可视化应用。此外,针对双向相似函数未能根据不同应用自适应处理图像不同区域的情况,采用视觉显著性模型计算图像重要度,并重新设计了基于重要度的可控双向相似函数,实现对图中具有不同重要性的块的自适应处理。本文的主要工作和成果如下:1)基于CUDA (Compute Unified Device Architecture)的双向相似函数并行加速:针对基于双向相似函数的图像编辑方法中的最近邻域搜索加速,本文采用CUDA来开发并行化的k-coherence算法和PatchMatch算法,将每个块的最近邻域搜索分别分配到对应的一个CUDA线程中进行搜索,使得两种算法在准确率基本未受影响的情况下,在时间性能上较CPU的实现方法得到了明显的提高。2)基于双向相似函数的快速流场可视化:根据纹理优化和流场可视化的特点,通过对双向相似函数的适当修改获得适用的能量函数,并使用EM能量优化算法对得到的能量函数进行最小化,使得生成的纹理能与原纹理达到最大相似,生成的流场帧既与原纹理具有相似性又能很好地表示出流场的特性。此外采用了并行化的k-coherence算法在CUDA平台上实现了纹理优化和流场可视化的并行加速。3)基于可控双向相似函数的图像合成与编辑:研究双向相似性函数在图像/纹理概括中的作用,并分析其对可控性、生成纹理的质量等方面的影响,在此基础上利用视觉显著性模型,引进重要度图对该函数公式进行重新设计,使得图像/纹理概括具有可控性。然后将改进后的函数应用于纹理设计、重要度驱动的纹理压缩以及图像重定位等图像编辑应用中。