【摘 要】
:
变分推断是一种用于逼近概率模型后验分布的机器学习技术。重参数化技术是目前最常用的变分推断梯度估计技术,然而其只能应用于少数参数分布族,如具有位置参数和尺度参数的概率分布族。虽然有一些研究工作推广了重参数化技术,使其能够处理诸如伽玛分布、狄利克雷分布等较为复杂的概率分布,但是这些方法难以自然地推广到多元分布上。本文对多元变分分布的变分优化问题开展了研究,重点针对多元变分分布和流体运动的相似性,进行了
论文部分内容阅读
变分推断是一种用于逼近概率模型后验分布的机器学习技术。重参数化技术是目前最常用的变分推断梯度估计技术,然而其只能应用于少数参数分布族,如具有位置参数和尺度参数的概率分布族。虽然有一些研究工作推广了重参数化技术,使其能够处理诸如伽玛分布、狄利克雷分布等较为复杂的概率分布,但是这些方法难以自然地推广到多元分布上。本文对多元变分分布的变分优化问题开展了研究,重点针对多元变分分布和流体运动的相似性,进行了三个方面的工作,主要内容如下:(1)通过将变分分布和流体运动进行对比,提出了变分分布的概率流模型,并通过该模型对重参数化技术进行了分析,发现在概率流的观点下,重参数化技术和选取的标准化变换是无关的,所有的标准化变换都导致了相同的速度场,并证明了该速度场是连续性方程的一个特解;(2)基于概率流的速度场提出了三种不同形式的梯度——零流量梯度、修正全梯度和流增量梯度,而且通过流增量梯度分析了速度场和流增量的大小与梯度估计方差的关联,并证明了,随着速度场和流增量L2范数的增大,梯度估计的方差也会变大,最终趋向无穷;(3)基于零流量梯度的形式提出了基于多项式的概率流梯度估计子,并且针对可分解分布给出了该梯度估计子的方差分析。本文所提出梯度估计子通过在合成数据集和真实数据集上的测试验证工作,表明了基于概率流的梯度估计方法的可行性与有效性。关于变分分布概率流模型的研究成果将对变分优化领域的研究工作和变分推断技术的应用提供理论上的借鉴和支撑。
其他文献
高中阶段作为人生的一个重要阶段,这个时期的学生的心理和生理都在飞速发展,但是其心理发展的不平衡性和不稳定性都会给高中生的成长带来许多问题,高中生在面临这些问题时,会
中国改革过程中出现的众多"过渡环节",我们把它们统称为"过渡性制度".对于过渡性制度,有人把它们看作阻碍制度转型深化的绊脚石,我们却认为它们正是通向更好制度的阶梯或桥梁
[目的]本研究通过对不同手术方式治疗剖宫产术后瘢痕妊娠(Cesarean Scar Pregnancy,CSP)患者的临床反应及人绒毛膜促性腺激素(β-hCG)的变化情况,探讨不同治疗方法的优劣及不
实行绩效考评改变了单纯看教学成绩选拔先进教师的方案,变为既看成绩.也看过程,看教师的综合素质来评选优秀教师。这更突显科学性和人文性。为此,针对实施绩效考评以来存在的问题
<正>9月13日马蜂美味又赚钱马蜂的尾部有一根长约5毫米的毒针,蜇人后就会释放蜂毒。蜂毒是一种腐蚀性很强的酶,过敏的人会出现窒息、肾衰竭甚至危及生命。在广西阳朔就有人以
对“提高教育质量和教学质量”的解释,官方和民间基本相同:提高教育质量指向育人,主要是从学生角度而言;提高教学质量指向教书,主要是从教师角度而言。这样解释确实工稳,但是,只要对
为适应新型城镇化的要求,推广运用PPP模式成为国家的一项重大举措。PPP模式是公共基础设施中的一种项目运作模式。如今的PPP模式已进入规范化阶段并逐步涉及多个行业领域。然
在晚清,劣绅大量地出现。20世纪初以后,劣绅有从个体性向整体性蜕化的趋向。通过描述劣绅的表现形式和主要发生的场域,指出绅士劣质化的扩大甚至整体性蜕变,特别是在乡村社会
目的观察HRG-1基因在膀胱正常组织和膀胱癌组织中的表达,探讨HRG-1基因表达与膀胱肿瘤病理分级和临床分期的关系。方法应用免疫组化SP法检测63例膀胱癌和28例膀胱正常组织石