海量数据广义线性模型变量选择算法研究

来源 :北京化工大学学报:自然科学版 | 被引量 : 0次 | 上传用户:dza1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
首先推导出了用于求解一般广义线性模型变量选择问题的非凸惩罚迭代估计算法,并利用分治思想对算法进行修正,使其能够适用于海量数据情形,以解决海量数据下进行变量选择时可能存在的内存溢出等问题。考虑到当前处理海量数据实际使用的工具,进一步给出了算法在分布式并行下的计算步骤,大幅提高了计算速度。在数值模拟中,通过单机和集群两种方式对算法进行数值计算,结果表明本文方法有效解决了数据存储问题且适用于分布式环境。最后,通过所提算法来完成Probit模型的变量选择,并将其用于新闻数据集的分类问题。
其他文献
在小学数学教学中,开放题具有其他题型无法比拟的特点, 能有效考查学生的思维能力和实践能力. 教师要立足于数学教材, 在教学中引入开放题, 引导学生探究和培养学生的发散性
目的:探讨IgA型感染后相关性肾小球肾炎(PIGN)患者的肾组织病理学特点、治疗效果及预后。方法:急性期(22例)及亚急性期(78例)IgA型PIGN患者共100例,对其对症治疗;收集患者肾
目的:分析血液病(HD)住院患儿医院感染(NI)的临床特点、病原学特征及药敏结果,为防控NI提供科学依据。方法:收集2014-2018年发生NI的217例次HD患儿的临床资料、送检的临床标
本块内容的考点主要集中在俄国1861年改革的原因、内容及影响,且经常与日本明治维新的背景、内容及影响相结合命题。在全国各地历年的考试中.常见的题型为选择题、材料分析题.值
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
针对面源红外干扰弹的干扰效果评估问题,建立了面源红外干扰弹防御红外成像制导反舰导弹的干扰效果评估准则与模型,并以遮蔽干扰为例,基于 Matlab 仿真评估了给定威胁态势、干扰
本文对近年来研究个人所得税收入分配效应的文献进行了梳理,并对其研究成果进行总结与评价,最后对我国以后的研究方向进行了展望。目前国外相关文献主要是个人所得税收入分配
【摘要】科学技术的日益精进,带动着社会和经济的不断变化及发展,各行业与电子技术的密切结合,促进不同领域的产业、电子技术自身的飞速发展,它的广泛应用,因其优质、便利、可靠、高效、易于产品化等优势,逐步的渗透和发展,使之悄然的改造着各个行业的运行模式,同时也改善了我们的生活习惯,提升生活质量。  【关键词】电子技术;领域;实际应用;影响  一、电子技术的简介  电子技术研究的是电子器件及其电子器件构成