超高维线性回归模型中基于3×2交叉验证的方差估计

来源 :山西大学 | 被引量 : 0次 | 上传用户:smiletonyfrank
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
回归模型中的方差估计是回归分析中的基本统计推断问题之一。良好的方差估计是回归系数的置信区间、假设检验以及变量选择中的调节参数的选择的基础。对于一般的线性模型,方差估计的传统估计方法分为两步:首先用AIC,BIC等准则进行模型的变量选择,而后用最小二乘法对所选变量的回归系数进行估计,用残差平方和除以剩余自由度得到方差的估计,一般称该种估计为最小二乘估计(以下简称LSE)。在典型的线性回归模型下,方差的最小二乘估计是一致最小方差无偏估计。但是,在超高维线性回归中,即协变量的个数远大于样本量的情况下,Fan et al.(2012)发现LSE将会产生很大的偏差,回归变量的维数越高偏差越大。为此,Fan et al.提出了一种基于2折交叉验证的方差的RCV(refitted cross validation)估计方法,即将数据的一半用于模型的变量选择,另一半用于回归系数和方差的估计,大量的模拟实验验证了RCV能有效纠正LSE方法的偏差。然而,我们发现RCV的方差估计主要依赖于变量选择的好坏,若开始用一半的数据选到的变量集不包含全部真实变量,则用另一半估计方差时效果就会差。虽然Fan et al.也提出可以采用多组2折交叉验证,以多组RCV的平均来提高方差估计的精度,但只要有一组变量选择的结果不好,多组RCV估计也不会好。因此,变量选择的好坏是方差估计的关键。事实上,在超高维线性回归中,变量是稀疏的,通常先用SIS方法选择变量个数到适当维度,再去参数估计。但RCV方法在使用SIS选变量时,往往丢掉一些真实变量,即使用多组RCV也没能改善变量选择的结果,导致多组RCV估计的结果也不能得到较大的改进。本文提出了用组块3×2交叉验证方法估计超高维线性回归模型的方差。组块3×2交叉验证是将数据等分为4分,任选两份作为训练集,其余两份为测试集,这样构成3组2折交叉验证。Wang et al.(2014)证明组块3×2交叉验证有良好的性质.具体的估计方法是,以组块3×2交叉验证的6次单独选变量的结果,按变量被选中的次数从大到小来选择最终的变量,确定变量集后再去估计方差。我们将该方法称为方差的投票-组块3×2交叉验证估计(简记为V-B3×2 CV估计)。本论文通过大量的模拟实验对比了V-B3×2CV方法和RCV方法,实验结果表明,VB3×2CV估计的偏度小于RCV估计,且V-B3×2 CV具有更小的方差,同时V-B3×2 CV方法对真实模型的大小不敏感。另外,对真实数据(取自于UCI数据库的白酒数据)也使用V-B3×2 CV方法进行了分析,进一步证明了V-B3×2CV方法的优良性。最后,本文从理论上证明了V-B3×2CV估计的渐近正态性。
其他文献
供给侧结构调整的内涵是资源从过剩行业到新兴行业的再配置。本文总结分析了美国的供给侧调整实践,并比较中国经济现实,认为国内新兴行业盈利增速顶点隐现,已接近推出需求扩
【正】电影《美国往事—我们的星条旗》(American Pastime)是日裔美国导演中野迪斯蒙德根据真实故事改编,献给自己的父亲中野莱恩的一部感人至深的电影作品。曾执导过电影《
Web2.0下的用户生成内容对旅游决策的影响力越来越大,新型Web2.0微博上的旅游信息特性是值得研究的。文章通过新浪微博对游客产生内容进行统计分析,分别从信息来源、评论数和
食品安全,全球性的"顽疾"民以食为天,保障食品安全,对全球每个国家的监管机构而言都任重而道远。食品安全在全球经济一体化的今天已经成为全球性的问题,没有一个地方可以独善其
近日,863计划先进制造技术领域“基于CMC的工业自动化仪器仪表的研制及应用”课题通过了技术验收。近年来,随着信息、互联网、物联网等技术的快速发展,工业控制系统的智能化
<正>来过美国的人,都会留下些什么。的确,没有一个国家像美国这样引起人们的复杂感情。这个"美丽的国家",交织世人太多的好奇与憧憬,茫然与渴望……2011年,经北京市统计局,国
电影诉诸肉身不管有多么值得宣谕的精神主旨和价值理性,不管多么重视它的灵魂向度,我们仍不得不承认,电影的一切是基于“肉身”的。电影用物质思考,用镜头思考,用人物在具体
本文首先论述了延边城市多元文化形成的历史、人文、民族、地缘等因素,并对多元文化现状进行了概述,并认为,延边多元文化格局对图们江下游国际合作开发起到了十分重要的推动
教育在促进农村变革中起着决定性的作用,教育促进农村变革首先应当明确农村的教育需求,也即明确开发什么样的农村教育课程。因为课程是把教育理论转变为教育实践的机制,因此,
在机器制造业中,装配工序长期以来,都是由人工用简单的工具来完成的,被认为是不易实现自动化的工序。因此,自动化装配技术,除美国外,一般发展较晚。如英国、法国、西德,瑞士