【摘 要】
：
偏最小二乘（PLS）算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括
【机 构】
：
桂林电子科技大学电子工程与自动化学院,桂林电子科技大学计算机科学与工程学院,清华大学分析中心
论文部分内容阅读
偏最小二乘（PLS）算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程。在多台普通计算机上搭建Hadoop云计算集群平台,以近红外光谱处理为例,开展了算法验证实验。实验结果表明,基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时,能有效提高建模速度,随计算机台数的增多可得到接近线性的加速比,并具有良好的扩展性。
其他文献
以酿酒酵母为载体,常温下利用仿生法成功合成了CdS量子点。荧光发射光谱、紫外吸收光谱以及荧光显微镜照片证明,该方法合成的CdS量子点的荧光发射峰位置在443nm,在紫外灯下能
应用红外光谱研究微生物对黑土添加麦秸后腐殖质结构特征变化的影响。结果表明：（1）土壤水溶性物质（WSS）的结构和官能团数量受微生物影响较大。细菌有利于提高WSS中脂肪族烷烃类物
本文提出了复杂构造地区的目标导向观测系统的设计方法.使用波动方程正演模拟来指导并在二维声波方程的一阶速度-应力方程中应用交错网格有限差分法实现.使用了四阶精度的差分算子和完全匹配层吸收边界条件.通过分析理论模型的模拟结果,展示了如何将地面地震响应与地下目标构造匹配.通过分析桥口地区实际地质模型的模拟结果,指出波动方程正演模拟在小断块、小背斜增生的复杂地区中相对于传统方法更精确,图像更清晰,更利于分