【摘 要】
：
大数据处理项目中,随着采集到的高维数据指数式增长,数据预处理工作已经成为数据分析和知识挖掘的瓶颈。主成分分析PCA是目前使用最广泛的数据维规约算法,特别是对大型稀疏矩
【机 构】
：
贵阳学院数学与信息科学学院,南京财经大学管理科学与工程学院
【基金项目】
：
2019年度市科技局贵阳学院科技专项资金[项目编号:GYU-KYZ〔2019~2020〕PT06-02],教育部青年基金项目:“水资源约束下的涉煤产业政策研究:机理、模型与仿真”[项目编号:18YJCZH016]
论文部分内容阅读
大数据处理项目中,随着采集到的高维数据指数式增长,数据预处理工作已经成为数据分析和知识挖掘的瓶颈。主成分分析PCA是目前使用最广泛的数据维规约算法,特别是对大型稀疏矩阵,处理效果良好,但通常伴随着大规模复杂运算。基于大数据平台Hadoop的MapReduce并行处理框架的PCA并行处理算法,通过映射和规约将复杂运算分配到多个处理器并行处理,算法验证实验结果表明,数据集规模增大,选取适当的分布计算节点数量,并行PCA方法的加速比可提高约30%,时间消耗可降低约21%。
其他文献
基于传统备自投装置联切负荷时缺乏灵活性的缺点,文中提出一种自适应备自投联切装置,对其工作原理进行了介绍,论述了装置与变电站综自系统的信息交互,研究了备自投联切装置在
生成函数是组合数学中的一个重要理论工具,它在组合问题中的应用既灵活又具有一定的广泛性,它不仅可以用来推导或者证明各种有用的组合恒等式,还可以用来处理组合计数问题、
目的：了解我院抗风湿类药物的使用情况及趋势。方法：采用限定计量分析法,对我院2008～2009年抗风湿类化学药和中成药的销售金额、构成比例与用药频度等分别进行统计分析。结果：各
根据生态文明建设内涵以及当前生态文明建设研究现状,从“五位一体”角度构建了生态文明建设评价指标体系;在此基础上,构建了熵权—主成分分析评价模型,以重庆为例,对重庆10
如今,区域经济的发展都在因地制宜,寻求地域特色。近日,山东结合工业大省的自身优势与人工智能的发展方向,发布了《关于大力推进“现代优势产业集群+人工智能”的指导意见》(
在新课改的背景下，要求教育教学方式不断得到改进、完善，体现以学生为主体，培养学生自主学习能力成为教学的重要任务。初中教学作为一门基础学科，教师应把握时代的脉络，了解学生的
随着越来越多的汽车具备联网和自动驾驶功能，汽车通讯的嵌入式信息安全就愈显重要。英飞；麦科技股份公司和ESCRYPT有限公司（“ESCRYPT”）在汽车网络安全领域展开密切合作，推出一款
<正> 湘西武陵山区位于湖南省西北部,地处东经108°47′～113°33′、北纬27°5′～30°9′之间,地域上包括湘西自治州10县市,麻阳、慈利县的全部和石门、桃源、
专为国内市场设计，经多年雷击特高发地区（海南、广东等省）大规模使用，证明保护效果非常良好。
对影响工业锅炉湿式钙法脱硫系统运行中结垢、堵塞等问题进行探讨 ,并作了具体的量化计算 ,得出了pH值的应控范围。为控制吸收液pH值 ,可在系统中安装智能在线 pH值控制仪 ;