面向航天情报系统的并行索引技术的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:liaogch
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着航天技术的飞速发展,航天情报信息量急速增长,传统的人工跟踪情报的模式暴露出越来越多的缺点,比如不能高效查询航天情报数据,不能直观展示情报信息,不能实时更新数据,不能提供分析决策支持等。因此,本文构建了航天情报系统,将航天数据关联起来,结构化情报数据,提供高效的数据收集和管理方式,同时提供多维度的数据统计功能和多样化的数据可视化服务。对于日益增长的大规模航天情报数据,创建高性能数据库索引能极大地提高系统检索性能,而并行索引技术能为大规模数据检索提供良好的解决方案。本文首先研究了树结构索引、Hash索引、倒排索引等传统索引技术,以及二级索引、高维索引、双层索引、并行索引等大数据索引技术。通过研究发现,传统索引技术已不适用于大规模数据,而将索引并行化处理能极大地提高大数据索引效率。因此,在详细研究了数据索引技术和Hadoop框架后,本文将HT树索引结构与Hadoop相结合,提出了并行HT树索引技术。并行HT树索引利用Hadoop内置的容错性和并发管理特性,将数据集划分为多个较小的分片,并在各节点并行构建HT树索引。同时,采用并行HT树索引进行范围查询时,可以在Map阶段消除不包括检索关键词的那部分HT树,从而缩减搜索空间,减少范围查询时间。这种索引方式能有效减少大规模数据的索引构建时间,改善资源利用率,因此,该索引技术能极大地提高大规模结构化航天数据的检索效率。本文不仅提供了详细的并行HT树索引构建方案和实现算法,还对并行HT树的执行性能进行了以下优化:(1)在构建子HT树时采用自底向上的批量加载技术,提升HT树的空间效率,减小构建HT树的开销;(2)采用链式算法连接Job,减少中间数据的I/O开销;(3)提出基于负载统计的分区数据负载均衡优化策略,改善了HT树索引执行过程中数据倾斜带来的负载不均衡问题。通过对比分析基于Hadoop的无索引、并行全局聚簇索引和并行HT树索引的实验结果,验证了本文提出的并行HT树索引能有效提升索引执行效率和结构化数据的查询性能。最后,本文详细设计并实现了航天情报系统,该系统实现了用户权限管理、航天数据管理、数据最新更新、数据检索、数据统计等功能,同时将并行HT树索引应用于系统,极大地提升了系统中大规模航天数据的检索效率。
其他文献
非常规油气已经越来越成为勘探开发的热点,致密砂岩气作为非常规油气的典型代表之一,在我国已有较成熟的勘探开发经验。准噶尔盆地莫索湾地区的致密砂岩气勘探开发潜力巨大,莫21井三工河组在2012年获得工业气流,表明了三工河组发育了有效的致密砂岩储层,非常规致密储层的微观非均质性控制着油气的聚集和运移,是致密油气藏开发的关键因素。本文以准噶尔盆地莫索湾地区为研究区,以地质资料及前人研究成果为基础,重点选取
安全帽佩戴检测研究对于安全生产具有重要意义,基于安全帽检测的工作人员目标定位是计算机视觉在目标检测领域的典型应用。近年来国内外研究学者提出了许多目标检测算法,并进行了大量的实验。其中SSD(Single Shot Multi-Box Detector)算法是基于图像背景目标检测的常用算法之一。SSD算法基于前馈神经网络,将目标边框定位问题转化为回归问题,运用回归的思想和候选框机制,使用单个深度卷积
目的:慢性颈痛已成为危害个人健康和经济发展的社会医疗难题,林定坤健体八段功第一式和第五式对慢性颈痛具有良好的临床疗效,但缺乏循证数据,本研究运用前瞻性对照研究方法,客观评价其对慢性颈痛的影响,以期该运动疗法能更好地在临床上得到运用与推广,使更多的慢性颈痛患者受益。方法:本研究采用前瞻性对照的方法,将符合纳入标准的慢性颈痛患者统一指导其习练八段功第一式和第五式,根据其练习的完成情况分为四组病例。练习
党的十八大以来,习近平总书记多次强调要优先发展教育事业、高质量发展教育事业,努力建设教育强国,不断深化教育改革,加快教育现代化,办好人民满意的教育。2010年《国家中长期教育改革和发展规划纲要(2010-2020)》中指出:“教师培训是加强教师队伍建设的重要环节,是推进素质教育、促进教育公平、提高教育质量的重要保证”。教师培训政策作为国家(政府)、执政党及其他政治团体在特定时期为实现中小学教师培训
大学阶段是青少年身体素质持续成长的重要阶段,现如今,伴随着科技的发展一起到来的社会压力,对于大学生来说这无疑是巨大的挑战。在充满挑战的社会背景下,人的身体素质显得更加重要。大学生是国家的栋梁,良好的体育锻炼态度对养成终身体育习惯和身体素质的提高有重要意义。本研究采用文献资料法、问卷调查法、实验法、数理统计法,对哈尔滨市高校大学生的体育锻炼态度及阶段变化情况进行了调查和实验两个递进的研究。首先运用《
分汊河道是指河道中存在稳定的江心洲的河型,其广泛分布于长江干流中下游和湘江、沅水等河流的中下游河段。近年来,我国河流上大量水利枢纽建设完成,改变了河流的自然水文过程,水库蓄水后下泄清水冲刷河道中的沙洲,导致洲头蚀退和洲体萎缩,是当前长江水系河道演变的重要现象。了解新形势下河道的演变过程、发展趋势和影响因素,对枢纽下游河道的航道整治及防洪减灾等具有重要的意义。采用概化动床水槽试验的方法,观测沙洲与边
近年来,具有分级结构的多孔材料(HP)因其三维结构完整,孔隙率丰富等特点被广泛应用于催化、分离、太阳能转化和电化学等领域。本文研究了具有分级孔结构的三维有序大孔(3DOM)的Co
近年来,随着我国医药卫生体制改革的不断深入,国家和相关部门出台了一系列的文件对新时达公立医院的发展提出了新的要求,对公立医院的公益性体现也提出了新的要求。在目前公立医院竞争日渐激烈的形势下,如何在兼顾公益性的同时,进一步提升医疗卫生服务质量、提高医疗卫生服务效率、强化医疗资源利用率成为公立医院急需解决的问题。现阶段,越来越多的公立医院把绩效评价作为实现医院长期发展战略目标的一种工具,通过建立一套科
目的通过检测孕妇血清晚期糖基化终末产物(advanced glycation end products,AGEs)的水平,研究其在早产及胎膜早破(premature rupture of membranes,PROM)孕妇与正常分娩孕妇血清中的差异及临床意义。方法纳入2018.01-2018.12在东部战区总医院妇产科建卡按期产检且发生早产的孕妇20例作为研究对象早产组(观察组),并匹配同期足月分
少数民族传统村落属于我国少数民族长期以来一直聚居的地方,少数民族居民在其中独特的自然环境经过多年生产和生活,与各地各异的地理条件造就了丰富多彩的、具有地域特色的民族村落景观,也由此构成了绚烂多姿的少数民族文化景观。大部分有关传统村落保护的研究在传统文化景观的保护和传承方面存在一定程度的忽视,研究重点落在村落的物质层面,尤其集中在对当中单体的保护,而对少数民族传统村落物质文化及非物质文化的整体研究缺