贝叶斯惩罚回归中正则化参数的选择

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:liarcher
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
惩罚回归在统计学中是一种至关重要的回归系数估计和变量选择方法,而正则化参数在惩罚回归中起着平衡损失函数和正则项的作用。因此,在惩罚回归的拟合过程中,选择一个合适的正则化参数显得极其重要。在深入学习贝叶斯理论知识、研究惩罚回归的基础上,从贝叶斯分析角度出发,通过寻找惩罚回归中各个组成部分与贝叶斯模型中先验函数、似然函数之间的对应关系,相应地,给出惩罚回归中所选择的正则化参数的贝叶斯估计表达式。具体地,文章在惩罚回归中的响应变量服从正态分布,回归参数服从指数族分布族中的某一个成员假设条件下,将惩罚回归中的损失函数表示成贝叶斯模型中的似然函数,正则项可表示成贝叶斯模型中的先验函数,通过贝叶斯公式,将损失函数和正则项以贝叶斯模型的形式结合起来,于是形成了一个关于回归系数的后验分布的贝叶斯模型。这个过程在找出惩罚回归和贝叶斯模型之间各个部分之间的对应关系的同时,相应地,得到惩罚回归中的正则化参数的贝叶斯估计表达式。将其推广到一般的惩罚回归(岭回归和lasso回归),得到它们具体的正则化参数估计表达式。从贝叶斯角度得到的正则化参数的估计表达式包含有响应变量和回归系数分布中参数,因此文章又重点探讨了关于分布中未知参数(位置参数和刻度参数)的贝叶斯估计值。最后,通过实例分析,在数据集满足一定的条件下,和现有的岭参数选择方法(广义交叉验证法、岭迹法)分析比较,文中所探讨的方法,和广义交叉验证法相比降低了计算的复杂度,和岭迹法相比较,在一定意义上给出了贝叶斯意义下的统计解释。
其他文献
汇总分析了自2016年至今国内外学者对于南瓜籽在提取工艺、化学成分分析、治疗疾病、改善药物不良反应、新产品开发以及其他方面的科学研究情况,以期为南瓜籽国内开发领域的
南昌市原有液化石油气储配站125家,其中乡镇储配站59家,自供储配站52家,具有经营单位14家,在诸经济向市场经济转轨中,随着机构改革的深入,很多省厅级单位把生活服务这一块推向市场,
<正>宋朝科举制度的建设,一方面排除了门第高低、私情厚薄和贿金多少对考试全过程的影响,确立了"一决于文字"、"一切以程文为去留"的原则,使得整个科举制度"无情如造化,至公
以山西北关矿区为例,通过RS、GIS技术相结合,定量研究了地形复杂的半干旱矿区煤炭开采引起的景观格局变化特征。分析结果发现:地形复杂矿区煤炭开采景观扰动十分明显,2000~2010年
借助差额法推导出一系列细毛羊育种目标中性状边际效益的计算公式。并根据调查与研究,给出中国美利奴羊(新疆军垦型)计算边际效益的有关生物学、育种学和经济学参数,计算出各育种
通过对信号的小波包分解的研究,提出了信号特征的小波包频率表示方法,表示信号对分解节点和频率的功率谱分布;同时提出以小波包频率表示为依据的特征信号重建方法.齿轮振动信
通过文学来重审人类文化和反思导致生态危机的思想文化根源,在生态批评视野下,柯尔律治的长诗《古舟子咏》赋予了人们无限的空间去感知自然、审视自然,倡导生命平等的生态伦理观
一、问题的提出中国有庞大而众多的党政机构、事业单位、社团法人单位等,截止到2005年12月,各级政府机构行政单位约25.02万(以各级财政拨款户头统计)、社团法人
钙屑砂岩通常较致密,储集性往往很差。在大量薄片鉴定及物性统计基础上,对须家河组T3x45砂组钙屑砂岩的岩石学、物性特征及其主要控制因素进行了详细研究,结果表明该套砂组的
在由一个供应商与一个制造商组成的二级供应链中,供应商的产出是不确定的。本文用条件风险估值(CVa R)准则来刻画供应商的风险规避态度,在制造商与供应商决策最大化自身收益