带有正则惩罚项的Logistic回归问题研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:liliac
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由严格理论导出的Logistic回归模型被广泛应用于多个领域,但传统的Logistic模型存在过拟合问题,且不具有稀疏性,导致估计参数全部或大部分不为0,然而大多数实例(比如糖尿病的风险预测)表明,尽管风险因素变量有许多个,但影响结果的关键变量通常只有少数几个。为解决以上问题,本文提出了正则惩罚项由L1/2范数和L1范数的线性组合构成的L1/2+1-Logistic回归模型,并对该模型的求解算法进行了研究。针对L1/2+1-Logistic的模型研究:首先,本文基于对L1/2和L1正则化方法理论性质(包括无偏性、稀疏性、Oracle性质)的分析,研究了L1/2+1正则化方法的基本性质,包括梯度和Hessian矩阵,并从图形(解空间)角度和梯度角度探索了L1/2+1正则化方法的稀疏性。然后,将L1范数和L1/2范数的线性组合作为惩罚项,提出了L1/2+1-Logistic回归模型,并从传统的Logistic模型出发,将其迭代格式推广到L1/2+1-Logistic模型中,进而给出了L1/2+1-Logistic模型的迭代格式。针对L1/2+1-Logistic的算法研究:首先,基于L1/2+1-Logistic模型的迭代格式,本文将坐标下降思想引入到该模型的求解中,将文中的高维问题转化为一系列的一元函数极值问题。接着,对于上述的极值问题,本文对?k的取值进行了分类讨论,并结合Cardano公式给出了L1/2+1-Logistic模型参数估计的解析表达,从而给出了L1/2+1正则化Logistic回归算法。针对L1/2+1-Logistic的实验分析:首先,本文通过控制样本量n以及解释变量X之间的相关系数?ij模拟出了6组不同结构的数据,并计算了L1/2+1方法和传统正则化方法的评估指标值:ACC、PPV、Recall、F1-Measure。通过比较指标值可知:当解释变量之间存在强相关关系,且样本量较大时,L1/2+1方法在分类预测的全面性和准确性的综合表现上优于传统正则化方法。也就是说,L1/2+1方法适用于大样本且解释变量间的相关性较高的数据集。另外,本文针对早期糖尿病风险的实际数据,用L1/2+1方法选出了6个显著影响变量:多尿、烦渴、自重损失、易怒、瘙痒以及性别,并且,该方法的评估指标值均保持在0.93以上。通过将L1/2+1方法与其他正则化方法以及已有文献进行对比,并结合国际糖尿病联盟(IDF)2021年发布的统计报告,可知:L1/2+1方法在保证较优的全面性和准确性的同时,选择出了更少的变量,说明L1/2+1方法有自动选出显著影响变量的能力。
其他文献
课堂活动是课堂中非常重要的组成部分。生生互动这一课堂活动形式作为学习者中心理念的重要体现,引发了人们的重视和诸多实践。而在理论研究与实践验证中,以学生为中心的生生互动在英语教学方面呈现出理论和实践的巨大优势,与我国课程要求相符合,有助于学生成绩的提高,更有利于学生综合素质与技能的提升,我国教师与研究者在外语研究与课程实践中都已将其纳为重要考虑因素之一。然而真实的课堂生生互动活动中却存在着或多或少的
学位
在新时代背景下,习近平总书记提出要推进新文科建设,这意味着需要创新人文社会科学研究范式,其基本路径是以马克思主义为指导,构建出中国特色哲学社会科学学科体系、学术体系和话语体系,同时需要变革知识生产模式,从而培养出符合中国特色社会主义现代化建设要求的复合型、创新型人才。对于人文学者而言,随着数字资源、技术正广泛应用于人文社会科学领域和新文科建设的发展需求,如何使用数字技术解决人文领域的问题,即跨学科
学位
目的 探讨戴明循环(PDCA)循环管理法在降低住院患者抗菌药物使用率及使用强度中的应用效果。方法 2020.01—2020.03期间我院住院患者抗菌药物使用率及使用强度偏高,采用PDCA 质量管理工具进行干预。运用鱼骨图分析抗菌药物使用率及使用强度不达标的原因,并探讨解决措施,制定对策,实施干预,分析干预后(2020年4月—2020年12月)达标情况。结果 整改后,我院住院患者抗菌药物使用率于20
期刊
期刊
报纸
<正> (例一)彭树林男性 68岁住本市金溏沿 1954年3月患腹水症,遍体浮肿,肿处光亮如水晶,腹大如箕,便閉溺少,自服大黄,大便依然不通,而腹脹益甚,乃延予診,至其家,診其脉息沉弦,舌苔薄白,而甚润,腹胀欲裂,痛苦不堪言状,病人求予为
期刊
随着国家财税体制改革稳步推进,行政事业单位在会计工作中面临的问题逐渐凸显出来。近几年通过各级纪委监委的巡察,发现一些违规违纪线索与行政事业单位会计工作存在关联。加强对行政事业单位会计风险的防控,不仅可以从源头上预防违纪违法问题的发生,还有助于形成风清气正的社会氛围。本文阐述了行政事业单位会计风险防范的重要性,列举了会计风险的表现形式,分析了风险形成的原因,最后结合自身工作,提出了会计风险的防范与控
期刊
改革开放以来,经济快速增长,工业产值逐步上升,随之伴随的空气污染问题逐渐受到广泛关注。在研究空气污染过程中,研究者们探索空气污染与经济发展之间的关系时,大多数只考虑了经济活动对城市空气污染的影响。这里一个关键假设是,空气污染在城市之间的传播可以忽略不计。这一假设是否有统计证据,已成为一个需要回答的重要问题。本文选取四川盆地、长三角地区和华北地区作为研究区域,通过对三个区域的空气污染物的时间序列进行
学位
近年来,评价素养在国内外受到越来越多的关注,研究者们反复强调教师评价实践对学生学习表现的影响之中,然而有学者发现,学校和课堂层面的评价过于依靠考试成绩,尤其是标准化考试的结果。同时,教育相关部门逐渐重视教学评估在教学实践中的重要作用,教师评价素养受到前所未有的关注,同时面临更高的要求。为了探究贵州省教师评价素养现状并为教师评价素养提升途径提供参考依据,本研究采用定量分析和定性分析相结合的方法,通过
学位
学位