【摘 要】
:
近年来随着科技的进步与发展,数据量成爆发式的增长,传统的数据库以及传统的计算方式受到了巨大的挑战。传统的数据库已经无法满足海量数据的便捷存储,传统的计算方式也无法
论文部分内容阅读
近年来随着科技的进步与发展,数据量成爆发式的增长,传统的数据库以及传统的计算方式受到了巨大的挑战。传统的数据库已经无法满足海量数据的便捷存储,传统的计算方式也无法满足海量数据的实时处理。在数据检索以及推荐策略领域,Reverse Skyline查询算法以及相关算法一直是研究热点,主要用于多目标决策问题。但是随着数据量的急剧增长,传统的算法流程已经无法满足实时性、高效性、稳定性等方面的需求。传统算法如何在海量的数据环境中高效率、低延迟、高精度的检索出有效的数据,这是亟待解决的问题。分布式架构的提出,使海量数据处理并行化成为可能。分布式架构Hadoop是处理静态高吞吐量数据最有效的架构之一。其中HDFS针对海量数据的存储问题采用高容错的分布式存储模式,针对数据的管理则采用了典型的主从模式;MapReduce设计模式将计算拆分成键值对的形式,同时改变了传统的数据读取到计算模块的传统计算方式,使计算去寻找要处理的数据,减少了IO操作并实现了大规模海量数据的并行处理。虽然分布式架构能对海量数据进行并行处理,但是传统的基于MapReduce的Reverse Skyline算法仍还存在一些不足。传统的Reverse Skyline算法虽然实现了并行操作,但是如果每次查询的时候对所有数据进行一次遍历,那么会造成很大的开销,导致查询效率低下,同时造成计算资源极大的浪费,所以索引的建立是很有必要的。传统的Reverse Skyline查询算法由于查询条件的变化和查询位置的不同导致在不同的情况下并不能很好的复用索引结构,同时剪枝的效率也受到了一定的限制。那么如何有效的改进传统的Reverse Skyline算法与索引结合并实现最大程度上的剪枝是提升查询效率的关键所在。本文根据传统的Reverse Skyline查询算法的特性以及加速海量数据处理的方式,对传统的Reverse Skyline查询算法进行改进并提出MRRSL算法(基于MapReduce的Reverse Skyline查询算法)。基于索引机制,为了加快查询速度,提高查询效率,细化剪枝粒度,本文定义了过滤集,其中过滤集包括候选过滤集和判断过滤集,利用过滤集中的数据在索引中进行剪枝,极大的提高了计算速度和效率,细化了剪枝粒度。对于该算法的整体结构,本文定义了MapReduce链,以更好地与索引机制进行结合在分布式环境中实现并行化操作,实现了针对不同的查询条件不同的查询位置,索引只需建立一次即可反复使用,极大的提高了查询效率。在操作时,本文定义了候选集和判断集,其中候选集和判断集分别是根据候选过滤集和判断过滤集而生成的。利用判断集对候选集进行过滤判断,进而不用建立中间判断数据点,减少了计算和存储开销。
其他文献
税法作为保障国家财政收入基础的法律,具有强制性与不可规避性。避税行为是纳税人通过交易安排,减少或免除其应纳税款,此种行为是对税法基本原则之税收公平原则和量能课税原
随着我国人民经济、生活、医疗水平等方面的日益增高,同时,健康、生态、环保等理念体现出了当下人们对如今的生存环境的新的追求。近年来,伴随着城市发展进程的加快,人们闲暇的时光更为丰富,然而人们的生活质量却没有呈正比例增长。亚健康、慢性病、老年化等疑难杂症尤其是城市的公众健康问题向着恶化的趋势发展。因此,居住区作为人们日常生活中最常见到以及使用的景观环境,如何立足于我国国情,为居住者们营造适宜的居住区环
认知类心理动词是汉语动词的重要特殊小类,又因为认知心理动词是涉及人类大脑认知过程和心理活动的动词,比较抽象,是对外汉语教学中的难点所在。本文从《汉语水平词汇与汉字等级大纲》甲级词25个心理动词中鉴别出了18个认知心理动词,并将这些甲级认知类心理动词作为研究对象,根据语义场理论,将其划分为不同的语义场并对其进行语义角度的研究。与此同时,笔者还结合北京语言大学HSK动态作文语料库作出具体考察,对留学生
对侵犯著作权犯罪的探讨朱继良,雷东生1994年7月5日,第八届全国人民代表大会第八次会议通过了《关于惩治侵犯著作权的犯罪的决定》,这一《决定》完善了我国著作权法有关法律责任的内容
列锦是我国古代诗歌中常用的一种修辞格,它是“由名词或以名词为中心的定名词组组合成一种多列项的特殊的非主谓句,主要用来写景抒情,叙事抒怀”。列锦在诗歌语言不断压缩的趋势
新时代高校需要培养高层次的人才,图书馆要发挥文献资源优势提供智库支持。图书馆员要进行角色转变,提升服务质量,增强服务能力。当前部分高校图书馆员学科知识薄弱、文献整
利用搅拌摩擦加工技术,研究了不同工艺对AZ31镁合金显微组织和拉伸性能的影响。结果表明:当进给速度为200、400 mm/min、搅拌针转速低于1000r/min时,AZ31镁合金的显微组织由
随着汽车数量的迅速增长,大量废旧轮胎的存放问题已经成为环保部门重点关注的对象,尤其是近年来数次火灾的发生严重的影响了社会公共安全,废旧轮胎的循环利用问题已经成为社会关注的重要问题。研究表明废旧轮胎由于具有难降解、耐腐蚀、强度高等优良性能,在工程中被应用于景观挡土墙、路堤下垫层、桥台台背回填、路面结构中,在国外取得了良好的应用效果。但在国内,则往往被粉碎或提炼作为道路材料的添加料,不仅造成了环境的二
长牡蛎Crassostrea gigas是一种在潮间带营固着生活的双壳类软体动物,也是我国重要的海水养殖品种。潮间带区域的环境复杂多变,特别是潮汐的周期性涨落使长牡蛎长时间暴露于空气中。长牡蛎干露胁迫响应机制极为复杂,涉及能量代谢、免疫应答、细胞稳态和渗透压平衡等多个生命过程。然而,现有研究仅从少数分子或信号通路入手,缺乏系统性和全面性。基因加权共表达网络分析(Weighted Gene Co-e
海绵城市是一种崭新的城市规划理念。其把自然途径与人工措施巧妙地结合在一起,实现存蓄雨水,科学排涝,提升城市的防汛功能和应对环境变化的能力。本文将海绵城市与城市滨水