大数据分析中基于MapReduce的空间权重创建方法研究

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:czfczfc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据空间分析是Cyber-GIS的重要方面。如何利用现有的网络基础设施(如大规模计算集群)对大数据进行并行分布式空间分析仍然是一大难题。提出一种基于MapReduce的空间权重创建方法。该方法依托Hadoop框架组织计算资源,基于MapReduce模式从大规模空间数据集中高效创建出空间权重:大空间数据首先被分为多个数据块,然后将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,最后由约简器从不同节点处收集相关结果并生成权重文件。利用Amazon公司弹性MapReduce的Hadoo
其他文献
针对传感器量测信息异常与传感器之间数据传输错误,融合系统中的数据会出现异常值(outlier)的目标跟踪问题,提出了一种集中式非线性抗差卡尔曼滤波算法。该方法应用鲁棒统计理论
为解决集装箱港口岸桥和集卡资源紧张的现状,针对岸桥和集卡协调调度问题,综合考虑集装箱顺序及岸桥干涉、集卡作业面调度等约束,建立了一个以最大完工时间最小化为目标的混合整
基于程序频谱的动态缺陷定位(spectrumbaseddynamicfaultlocalization,SFL)可分为基于可执行语句覆盖的方法和基于谓词覆盖的方法。通过分析以上两类方法可以发现:a)基于可执行语
针对产业链协同Saa S平台业务功能动态定制的特点,在研究云平台业务功能个性化定制架构的基础上,分析了产业链协同Saa S平台业务功能自适应演化的需求,基于复杂适应系统理论
针对两类树状输运网络——自然演化的克隆植物网络和人工建造的城市地铁网络,构建L空间和P空间下相应的网络模型,通过网络拓扑结构特征和随机树两个角度进行比对分析。研究发现,虽然这两类网络构建目的不同,但它们在L空间和P空间下都展现出相似的拓扑结构;同时将这两个网络的结构与随机分支树进行比较,发现它们以相同的方式和程度偏离随机分支树的预估值。