面向海量数据的高效天文交叉证认的研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:JK0803_zhoukaijun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
天文交叉证认是实现多波段数据融合的关键技术。经过交叉证认形成的多波段或全波段数据蕴含了更多的可揭示天体物理本质的信息,是加深对天体的认识、促进天文学新发现的关键。天文数据的海量性使其必须要依靠并行计算、分布式计算和海量数据处理等计算机技术加以解决。本文在前人研究的基础上,针对多核处理器环境、大规模集群环境分别研究并实现了高效的并行交叉证认方法和分布式交叉证认方法,并在攻克它的主要性能瓶颈——过于频繁、耗时的数据I/O操作方面取得了一定的突破,真正实现了海量数据上的大规模交叉证认。本文首先研究设计了面向多核环境的并行交叉证认方法,应用HEALPix伪二维球面索引方法在加快数据查询速度的同时实现了数据的区域划分,降低了证认计算的时间复杂度。然后研究并解决了交叉证认的常见问题——边界漏源问题,保证了结果的完全性。实验表明,此方法对交叉证认计算的效率提升明显。此后,针对该方法的最主要耗时环节——数据库查询操作进行了优化,提出了基于限制生长模型的全新数据加载、计算流程,以及任务分配调度的基本单元——最大生长块,既降低了数据重复读取率,又实现了对稀疏数据集中空白区域的过滤,使交叉证认的效率得以继续提高。除此之外,通过理论分析结合实验测试的方式对此并行交叉证认方法在HTM索引下的可行性进行了验证,从而打破了对单一索引方式的依赖,保证了此方法的广泛适应性。为了突破关系数据库在处理海量数据时的性能制约,同时也为了满足海量数据的存储需求,本文继续提出了基于MapReduce分布式并行计算模型及分布式文件系统的交叉证认方法。算法设计上,依照MapReduce模型的特点,通过规划数据在各节点间的分布,尽量地避免了交叉证认计算过程中的节点间通信,保证了接近线性的加速比。实验显示,在大规模数据集上此方法的性能远远优于多核环境下基于关系数据库的并行交叉证认算法,为今后在线实时交叉证认服务的实现打下了基础。此外,本文提出的基于位运算的快速邻域编码计算算法不仅是高效交叉证认得以实现的一个基础性保证,也对诸如锥形检索等多种天文数据处理应用有着重要的作用。本文应用并行计算技术、分布式计算技术、以及海量数据处理技术研究设计的高效交叉证认算法对今后解决同类大规模天文数据处理应用的效率问题有着重要的参考价值。
其他文献
经牛肉膏蛋白胨液体培养基驯化、固体培养基分离纯化,从长庆油田措施废液集中处理后残渣中筛选出了5株具有较强降解石油能力的微生物菌株,将其分别编号为D1、D2、D3、D4、D5
通过分析胶粉料的组成对聚苯颗粒保温浆料性能的影响,发性聚苯颗粒,对保温浆料性能影响进行了试验研究。结果表明,苯颗粒不同,对聚苯颗粒保温浆料的性能有很大的影响。确定胶粉料
智能材料是一种能感知外部刺激,能够判断并适当处理且本身可执行的新型功能材料.智能材料是继天然材料、合成高分子材料、人工设计材料之后的第四代材料,是现代高技术新材料
耗散性理论在系统分析与控制研究中起着重要的作用.其本质含义是存在一个非负的能量函数(即存储函数),使得系统的能量损耗总小于能量的供给率.而无源性是耗散性的一个重要方
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
期刊
超短波固定监测网是无线电管理部门保护合法频率和用户的技术基础。通过对“九五”、“十五”超短波固定监测网建设的经验总结,介绍了现有固定监测站类型,分析了其中核心设备的
【正】 “杂交优化”一词,借用自生物遗传学。自从孟德尔发现生物遗传规律以来,遗传学不仅在理论上取得了巨大进展,而且已被广泛应用于社会生产实践;尤其是生物杂交育种的普
目的:探讨射频消融术加用改良独活寄生汤内服治疗腰椎间盘突出症的疗效。方法:将腰椎间盘突出症患者随机分A、B 2组,每组均28例,A组:采用中药方剂独活寄生汤为基础方加减内服联
目的探讨预防性护理干预对老年呼吸内科患者医院感染的控制效果。方法选取上海市金山区亭林医院2016 年7月—2017 年6 月收治的500 例呼吸内科老年患者为研究对象(对照组),另