【摘 要】
:
生成对抗网络(Generative Adversarial Networks,GAN)是加拿大蒙特利尔大学的Ian Goodfellow等人在2014年提出的机器学习架构。自提出以来,便受到了深度学习领域研究人员的广泛研究,该架构在图像生成领域取得了巨大的成就。尽管图像生成模型取得了巨大的进步,但其仍然存在生成图像多样性不足、生成的高分辨率图像质量差、模型优化需要大量训练数据等问题。大量的研究人员
论文部分内容阅读
生成对抗网络(Generative Adversarial Networks,GAN)是加拿大蒙特利尔大学的Ian Goodfellow等人在2014年提出的机器学习架构。自提出以来,便受到了深度学习领域研究人员的广泛研究,该架构在图像生成领域取得了巨大的成就。尽管图像生成模型取得了巨大的进步,但其仍然存在生成图像多样性不足、生成的高分辨率图像质量差、模型优化需要大量训练数据等问题。大量的研究人员针对GAN网络模型提出了各式各样的改进措施,以提高GAN网络模型在图像生成任务中的性能。生成艺术是图像生成的研究热点,是计算机文化下产生的一种艺术形式,是科技与艺术融合的结果,不仅具有科研价值,更具有艺术价值。本文基于生成对抗网络的循环监督式图像生成算法框架,针对多视角图像生成、小样本汉字字体生成、数字油画图像的超分辨率任务,提出了以下图像生成工作:1)在多视角图像生成任务中,我们提出Cycle CVAE-GAN模型。我们以基于深度学习模型中的生成对抗网络、变分自编码器(Variational Auto Encoder,VAE)及其变体为基础,引入循环监督式的模型架构,采用VAE-GAN级联架构,先以VAE网络模型为基础生成低分辨率结果,再以GAN网络模型为基础生成高分辨率结果,再利用循环一致性监督模型的生成结果。2)在小样本汉字字体生成任务中,我们提出OCFGNET(One-reference Chinese Font Generation Net)模型。我们以字体风格编码器和字体结构编码器对汉字字体字库建立字体风格和字体结构编码隐空间,随后采用字体融合解码器生成目标字体字符结果,并同样采用循环一致性监督模型进行生成结果的优化。3)在数字油画图像的超分辨率应用中,我们提出SUISR(Self-reference Unsupervised Image Super-Resolution)模型。我们以基于循环一致性的无监督图像超分辨率模型为基础,无需成对训练数据,通过对图像进行下采样-上采样、上采用-下采样操作,对模型进行循环监督式优化,并采用生成对抗网络对随机裁剪的低分辨率、高分辨率油画块进行判别,保证高分辨率数字油画仍然保持原有分辨率的画布纹理以及绘画笔触。
其他文献
卷积神经网络在多种场景中成为了优秀的解决方案。在移动终端设备上部署卷积神经网络产品已具备现实需求,如短视频特效、智能无人机、智能相机和野外草本识别等场景。特别地,无网、弱网或禁网的隧道、洞穴和军工等场景也具有硬需求。卷积神经网络产品需要对大量的浮点数进行存储和计算,对存储器、算力、功耗等资源需求较高。因此,为了在移动终端上部署卷积神经网络产品,需要对资源消耗进行优化。本文内容是研究如何将卷积神经网
随着社会信息化程度的提高,图像采集设备也得到了大量地普及,由此数字图像已经成为了重要的信息载体。在现实应用中,由于成像系统自身存在缺陷,以及考虑到网络传输时延和存储空间等限制,数字图像通常以较低分辨率的形式存在。图像超分辨率就是对较低分辨率图像进行复原,其不但能改善图像在视觉层面的感知质量,又可以为后续的高级计算机视觉任务打下基础,因此也是底层视觉任务中一直都很活跃的话题。近年来,基于深度学习的单
基因变异鉴定(variant calling)是生物信息学中一项重要的研究,而基因变异中的单核苷多态性位点(Single Nucleotide Polymorphism,SNP)和InDel(Insertion and Deletion)是基因变异中非常常见的变异类型。其随着测序技术的发展也一直在不断深入研究,现有的基因变异鉴定技术在第二代测序数据上表现较为成熟,但在近些年兴起的第三代测序数据上几
基于深度强化学习的推荐算法具有灵活的推荐策略并且考虑了用户未来的长期交互体验,所以受到了越来越多的研究人员的关注。虽然有很多与基于深度强化学习的推荐算法相关的研究工作,但是现有的研究工作仍然面临以下两个挑战:第一个挑战是现有的深度强化学习推荐算法在学习用户偏好时没有考虑到用户的临时偏好。在用户的历史交互记录中总会存在一些很少出现并且脱离用户一般偏好的非典型的交互。由于用户偏好的动态本质,用户的非典
国画在传承的基础上不断创新,其中工笔画和水墨画成为当今绘画的主流。在传统国画中,花卉的描写是一种重要而经典的表现形式。因此,本文主要针对国画花卉的智能创作开展了一系列研究工作。工笔画在同白描有着同样精确笔触的基础上,通过大量的色彩和精确的笔触来实现对绘画对象的模拟。水墨画更加关注水墨色彩的变化,强调图像浓淡与枯润度表达的和谐性,通过有限的色彩和自然流畅的笔触实现写意的表达。从传统的基于机器学习的方
随着智能监控领域朝全天候化、多场景化的方向发展,在可见光摄像头已有一定部署基础的前提下,红外摄像头也正在被广泛应用。基于可见光与红外图像的跨模态行人重识别受到了越来越多的关注。一方面,通过行人检测得到准确的检测边界框图像作为输入,是行人重识别在实际应用中表现良好的重要基础,然而目前大部分行人检测研究集中于可见光图像而忽略了红外图像。由于不同模态图像本身存在的差异,将可见光行人检测成果直接迁移至红外
图像语义分割是指根据图像中像素的语义信息对图像进行分类分割的方法,是计算机视觉领域的一项重要任务。基于深度学习的图像语义分割网络近年来得到快速发展,但仍存在参数量以及计算量大,模型较为复杂,以及不能很好地处理图像中的小目标物体,模型分割精度很难提升等问题。本文针对当前的语义分割网络参数量和计算量大以及小目标物体的语义分割问题展开研究,主要工作和创新点如下:1、针对网络参数量以及计算量大的问题,提出
预测性维护(Predictive Maintenance,Pd M)技术在航空航天、轨道交通、机械装备等领域应用广泛,是实现工业现代化的关键技术之一。在“中国制造2025”和“工业4.0”的战略背景下,工业设备正日趋复杂化,工作环境也日渐恶劣。Pd M技术依据设备或系统的传感器监测数据,对其剩余使用寿命(Remaining Useful Life,RUL)进行预测,从而提前采取维护措施,保障运行安
人脸识别是人工智能技术研究中的热点之一,以其突出的高并发性、非触碰性等特点,在安防、监控、移动支付等工业生产领域已有广泛的应用。自AlexNet在2012ILSVRC目标识别领域取得突破性进展,各种新颖的卷积神经网络结构不断涌现。受三维人脸数据集等因素限制,三维人脸识别技术的发展相对较晚,但是随着二维人脸识别技术的发展面临如人脸表情、姿态、遮挡以及光照变化等因素的挑战,研究者逐步转向三维人脸识别的
磁共振成像(Magnetic Resonance Imaging,MRI)技术因其非侵入性、非电离的成像方式,已经广泛地应用在物理、生物、医学等领域,尤其在病灶诊断方面的前景广阔。然而,由于磁共振独特的成像机制,磁共振扫描时间过长,容易产生运动伪影,从而影响重建质量和临床诊断。因此,减少磁共振成像时间具有重要的研究意义。目前深度学习技术与日俱进,在图像重建领域表现突出,因此基于深度学习的快速磁共振