面向多种学习任务的深度生成模型

来源 :清华大学 | 被引量 : 1次 | 上传用户:huanghong198122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络在众多机器学习领域取得了令人瞩目的进展,并被应用到各种实际场景中。但是,一般的深度神经网络建模一个从输入数据到语义标注的条件概率模型,这种机制导致了两个瓶颈问题:一方面,深度神经网络忽略了数据中的不确定性,无法处理数据中可能存在的噪音和缺失信息;另一方面,深度神经网络的训练需要大量的数据标注,而人工标注在很多实际应用中非常稀少且昂贵。深度生成模型结合了深度神经网络的灵活性和概率建模框架的推理能力,可以在完全无标注的情况下建模复杂数据的联合概率分布。因此,深度生成模型是一种解决深度学习两个瓶颈问题的原则性方法,并将成为未来大数据分析的基础工具。虽然深度生成模型前景广阔,但是现有模型的表达能力、可解释性和判别性均有不足之处,亟待解决。具体而言,第一,现有深度生成模型中的网络结构和隐变量结构都非常简单,这限制了模型的表达能力;第二,现有深度生成模型以完全黑盒的方式拟合一个从噪音到高维数据的映射,其隐变量可解释性不足,生成图像的语义也难以控制;第三,无监督学习所提特征的判别能力远逊于前馈神经网络,而在深度生成模型中恰当地引入监督信号又是一个非平凡问题。本文面向不同的机器学习任务,设计匹配的模型和学习准则,开发高效的推理和学习算法,解决上述深度生成模型的关键性研究问题。本文的主要创新点如下:1.面向无监督学习,受神经科学启发,提出一个带有记忆模块和注意力机制的深度生成模型,提高了模型的表达能力和表现;提出对抗变分推理和学习算法,无需对模型结构作特定假设,提高了一大类无向模型的推理和学习效果。2.面向无监督学习和弱监督学习,基于贝叶斯网络和信息传播算法,提出一个灵活普适的结构化深度生成模型框架,可以生成新的结构化数据并推理给定数据中的结构化隐变量,增强了深度生成模型的表达能力和可解释性。3.面向有监督学习和半监督学习,基于最大间隔学习准则,提出最大间隔深度生成模型及其变体,极大增强了显式概率模型的判别能力,同时保留了其处理数据中的噪音和缺失信息的能力。4.面向半监督学习,受博弈理论启发,提出了三元生成对抗网络,首次提出半监督生成对抗网络的最优均衡点并给出证明,显著提高了半监督分类准确率,并首次在给定部分标注的情况下完成了语义可控的图像合成任务。
其他文献
济宁青山羊(Jining Grey Goat)是我国著名的地方山羊品种,以高繁殖力为特点入选国家畜禽品种志,是山羊繁殖力性能研究的理想动物模型。山羊作为重要的家养动物,其遗传多样性
民法典是新中国成立以来第一部以"法典"命名的法律,是一部固根本、稳预期、利长远的基础性法律,是新时代我国社会主义法治建设的重大成果。为深入学习贯彻习近平总书记关于实
笔者以李斯特的《彼得拉克十四行诗104号》为主要研究对象,针对作品中所蕴含的矛盾美进行分析与研究。本文将分为四个部分进行具体论述:一、从彼得拉克十四行诗的文学角度出发,初步解读何为矛盾美;二、分析作品各乐段不同音乐性格之间的个性与共性;三、探讨节奏在自由与规整之间的统一;四、通过梳理佛拉基米尔·霍洛维茨对作品个性化的演奏阐释,旨在加深对矛盾美的理解,以及对自身的弹奏有所启迪。
随着世界农业技术的持续发展,我国当前社会下对于农业工程技术的应用也越来越广泛。目前,在农业工程领域中,超声雾化喷头主要是流体式喷头与压电换能器式喷头。流体动力式喷
对西昌钢钒酸轧机组带钢边部欠酸洗缺陷产生原因进行了分析,并提出了一系列的改进措施。生产实践表明,减少了边部欠酸洗缺陷,降低了欠酸洗缺陷因素不合格产品率,取得了显著的
表示学习是人工智能领域的核心研究问题之一。许多成功的模型都可以被理解成是表示学习的特例,这包括用概率建模隐变量和观测变量联合分布的隐变量模型,以及端到端学习层次化
目的研究发现,外周血淋巴细胞与单核细胞比值(lymphocyte/monocyte ratio,LMR)可预测部分淋巴瘤亚型的临床结果。这些研究主要集中在弥漫大B细胞淋巴瘤(Diffuse Large B Cell
近年来我国人口已逐步向城市集中,住宅小区楼盘如雨后春笋般不断兴起,由此衍生诸多法律课题乃值得关注。为了维护建筑物区分所有权之机能及各区分所有权人之居住环境,我国的《物权法》及《物业管理条例》中设有许多制度,以规范区分所有权人彼此之间的互动关系。为此本论文拟以业主自治中核心组织之业主大会其决议规则的完善为论述重点,业主大会在物业管理领域及业主自治领域扮演着相当重要的角色,但对于如此重要角色之定位,却
华支睾吸虫病是由华支睾吸虫引起的危害严重的鱼源性人兽共患寄生虫病,主要引起人和多种动物的肝胆病状,严重者可引起胆管上皮癌,因此华支睾吸虫被国际癌症署(IARC)归为第Ⅰ
人类所处的世界是巨大的三维空间,每个物体都以三维的形式呈现,随着时代的发展,三维成像测量技术得到了越来越多的应用,在工业质量控制、文物三维建模、生物医学、虚拟现实、