【摘 要】
:
图像生成是机器学习领域的一项研究任务,其目标是学习数据潜在分布,从而产生能够以假乱真的高质量图像样本。目前研究者们提出了很多生成模型应用于图像生成任务,并且已取得一定效果。但是,如何生成高质量的数据样本仍然是计算机领域不断追求的目标。目前,有关图像生成方法主要存在以下两个难点:一方面,生成图像样本模式单一,无法完全覆盖训练图像样本的所有模式,即出现模式损失问题;另一方面,由于模型设计本身存在固有的
论文部分内容阅读
图像生成是机器学习领域的一项研究任务,其目标是学习数据潜在分布,从而产生能够以假乱真的高质量图像样本。目前研究者们提出了很多生成模型应用于图像生成任务,并且已取得一定效果。但是,如何生成高质量的数据样本仍然是计算机领域不断追求的目标。目前,有关图像生成方法主要存在以下两个难点:一方面,生成图像样本模式单一,无法完全覆盖训练图像样本的所有模式,即出现模式损失问题;另一方面,由于模型设计本身存在固有的缺陷,导致网络训练过程不稳定、网络收敛速度慢等问题。本文从生成样本的多样性、网络训练的稳定性、生成样本的逼真度三个角度出发,探索基于能量模型的图像生成算法。主要工作如下:(1)针对生成对抗网络存在的模式损失问题,本文利用信息熵的特性提出一个非参数的互信息估计器。该方法需要引入一个子判别网络,首先将生成样本的最大熵计算转换为随机输入变量与其对应的生成样本之间的互信息计算。其次使用f-散度对互信息进行精确估计,并将其惩罚在生成器的目标函数上。最后在更新网络模型参数时也要根据互信息损失进行梯度下降。实验结果表明,引入互信息估计器能够最大化生成样本的熵,显著提高生成样本的多样性,从而降低生成样本模式损失问题。(2)针对深度神经网络训练过程不稳定问题,本文提出一种以零为中心的梯度惩罚项。具体来讲,从能量的定义出发,认为能量值越小系统状态越稳定。因此,为稳定网络训练,本文所提模型使真实数据样本尽可能地分布在能量函数的局部极小值点处,即期望其导数为零,并将该项直接惩罚到能量网络的目标函数上,这样判别器不会优化过度,从而导致生成器梯度爆炸/消失等情况。实验结果显示,加入该梯度惩罚项不仅能够使网络训练过程更加稳定,同时也使网络具有更好的收敛性。(3)为进一步提升能量模型的生成性能,本文提出了一种基于能量模型与流模型的联合训练策略。在噪声对比估计的基础上,用流模型转换过的分布代替一般噪声分布作为能量模型的对比分布,以增加能量模型判别真假样本的难度。同时,利用最大似然估计与变分近似两种方法学习流模型。这种训练策略可以促使能量模型与流模型都达到更好的生成性能。实验结果显示,该方法能够使用更简单的网络结构实现准确的概率密度估计,并且对于流模型生成样本的质量也有显著的提升。
其他文献
随着社会的飞速发展,大量工业污水违规排放加剧水体污染,水体富营养化导致水底环境失衡,因此水质的监测与管理成为社会亟待解决的热点问题之一。水体中总氮、总磷的含量与水体环境平衡密切相关,是用来衡量水质好坏的重要指标。原始的水质监测手段主要是在局部水域人工采集水样,并送至化学实验室分析各成分含量。通过该手段监测到的各组分十分精确,但只能对局部水体进行监测,若对整体水域进行监测则需要大量的人力财力。高光谱
移动互联网和Web 2.0造就了空间众包(Spatial Crowdsourcing,SC)这种借助网民群体解决实际问题的商务模式。任务匹配或工人选择是SC的一个核心问题,当前研究大多将目标聚焦于最大化匹配数目(MTA)与最大化匹配分数(MSA),但MTA方法忽略了任务属性的差异,MSA方法也没有考虑同一工人之于不同任务的完成质量差异。本文首先对SC的背景意义、SC任务匹配的概念模型和通用框架以及
以去中心化方式运行长达五年的比特币系统,因其令人惊叹的稳定性,在2014年被发掘出其背后的关键技术——区块链(Blockchain)。区块链技术的可靠性和创新性,在互联网的高效信息交换之后,实现了价值传递,为更高效率信用社会的建立提供了新的技术支撑。随着央行数字货币、溯源等应用的迅速开展,由传统技术实现的区块链早期技术远不能满足实际的应用需求,区块链核心技术亟待创新与突破。其中以公链的吞吐量大幅提
知识图谱是一种语义化知识库,其中实体被表示成节点,关系则由边表示。一个典型的知识图谱通常将知识描述为多关系数据,并以三元组(头实体,关系,尾实体)的形式表示。虽然知识图谱存在大量的实体和事实数据,但是许多大规模知识库仍不完整,并且缺少大量的真实三元组。针对大型知识库中常见的事实三元组缺失问题,研究学者提出很多知识图谱补全模型。本文主要研究知识图谱补全技术,通过对国内外相关知识图谱补全工作的全面考察
特征选择技术是数据预处理步骤中最重要的操作之一,它可以提高数据分析中聚类、分类和信息检索等任务效率。现如今大数据时代的到来,各个领域的数据信息呈喷发式增长,导致越来越多高维的数据集出现。此时,数据预处理过程中利用特征选择去除与后续算法不相关的特征或冗余特征就显得尤为重要。有监督和半监督的特征选择方法的研究往往依赖样本的类别信息,而现实环境中数据的类别信息获取通常很困难。因此,不需要依赖标签信息的无
作为分类算法之一的k-近邻分类算法,它凭借自身的简单性和有效性被广泛应用到现实生活中。然而现实生活中的真实数据集都不可避免地包含噪声数据,这个情况会损害k-近邻分类算法的分类性能。同样的问题也出现在模糊粗糙集理论中,模糊粗糙集在计算模糊下近似时需要查找测试样本的唯一最近邻样本,这个步骤使模糊粗糙集的模糊下近似值受数据集中噪声样本的影响,并且对后续的特征选择起到负面的作用。本篇论文首先在k-近邻分类
现阶段,数据的获取方式简单且多样化,在提升模型效果的同时也产生了高维数据易存在噪声样本的问题。进而使得特征选择任务和构造具有鲁棒性的分类模型成为目前的研究热点。其中,模糊粗糙集理论作为特征选择和分类模型的理论基础,已经构造出了相应的模型。传统方法由于利用单一样本间的模糊相似关系来构造模型,使得建模过程中忽略了全局的关系,并且模型存在着对噪声敏感的问题。最终影响了模糊粗糙特征选择及相关分类模型的性能
全媒体时代网络新技术的发展和应用,促进了新媒体技术与高校法治教育的深度融合,客观上推动了高校法治教育模式的变革。全媒体时代高校法治教育蕴含着拓展法治教育载体、改革法治教育模式、丰富法治教育方法和加强主客体间对话等价值,通过探索实现“媒介技术+法治教育”的模式转化,要在加强社会主义核心价值观的价值引领、完善协同育人体制机制和提升教育主客体媒介素养等方面推进具体实践,加强高校法治教育立德树人的质效。
分类任务作为机器学习中的重要课题之一,在许多方面已经得到了广泛应用。基于数据引力的分类方法由于模型简单高效而愈发受到关注,而大多数基于数据引力的分类方法在训练时通常不考虑数据特征的质量,平等的利用所有数据进行训练,因此影响了模型的训练结果。另外这些方法大都采用的是整体累加求和的计算方式进行分类,这种做法可能会导致样本间的冗余表达和信息丢失而导致误分类。为了解决这些问题,本文首先提出了一种以不一致性
模糊推理已成功应用于多个领域,包括模糊专家系统,模糊决策分析,模糊模式识别等。在模糊推理系统中,当模糊规则库密集时,即规则的前件完全覆盖输入论域时,传统的模糊推理方法(即合成推理)可以获得相应的结论。当模糊规则库中包含“空隙”,即在稀疏规则库条件下,给定的观察值不与规则库中的任何规则前件部分重叠,采用合成推理方法无法匹配任何的规则,并且不能得出任何结论。在这种情况下,利用模糊规则插值法可以实现模糊