【摘 要】
：
针对海量数据查询所面对的数据加载和并行查询控制等难题,提出了一种基于分布式无共享架构的海量数据并行查询平台.该平台利用分布式无共享架构为海量数据查询提供结构化与非
【机 构】
：
同济大学嵌入式系统与服务计算教育部重点实验室,上海师范大学信息与机电工程学院
【基金项目】
：
国家重点研发计划高性能计算专项(2016YFB0200300);国家自然科学基金(61572326,61702333);同济大学嵌入式系统与服务计算教育部重点实验室开放课题(ESSCKF 2016-01);上海市科委地方院校能力建设项目(17070502800)资助
论文部分内容阅读
针对海量数据查询所面对的数据加载和并行查询控制等难题,提出了一种基于分布式无共享架构的海量数据并行查询平台.该平台利用分布式无共享架构为海量数据查询提供结构化与非结构化数据的统一处理,实现平台内数据的聚合计算.平台的核心技术如下:首先提供了多类型数据的跨平台存储与统一数据加载;然后给出了基于负载均衡的多节点数据查询任务流分配技术,生成全局查询执行策略;最后采用Hash和Range两种方式实现查询任务流的并发控制.根据测试验证,本技术在查询时间上相比于无并行方式节约了近40%.实验结果表明,该技术在海量数据
其他文献
新媒体技术的快速发展背景下,网络脱口秀应运而生,成为网络视频节目中的新星。《大鹏嘚吧嘚》《麻辣书生》《晓说》《晓松奇谈》《罗辑思维》《火星情报局》《吐槽大会》等网
<正> 日本胜利公司发表了家用数字录像机的规格,叫做“D-VHS方式”。这种录像机是用数字记录经解调的数字卫星广播的基带数据。它也可以重敢VHS方式和S-VHS方式。 日立公司和
在比利时布鲁塞尔的一个家乐福超市，每个收银台旁都竖有一幅广告牌，其上写着“别忘了可重复使用的购物袋”，广告牌下方则摆放着各种不同大小的塑料购物袋及折叠购物篮。购物袋的
打开喉咙是训练歌唱的关键环节,也是歌唱中的难点所在。在实际教学中通过一些良好的教学方法、手段:喉咙周围肌肉力量锻炼;发声肌体运动的意识强化;不同演唱风格借鉴;讲话状
【正】 中国纺织总会会长吴文英透露,"九五"期间纺织工业发展的总目标是:进一步加大调整、改革力度,到下个世纪初,初步实现纺织经济从粗放型到集约型的过渡;从原料供应到产品
近年来,债务违约事件频发,企业信用危机逐步加深,识别影响债务违约风险的因素刻不容缓。因此本文从企业社会责任角度出发,明确企业社会责任的含义,将企业社会责任由基本的承
随着市场经济的不断发展,地勘单位进行全国范围内的改革,为适应变化的经济体制,财务管理工作也理应作出相应变革。本文从人才队伍、制度体系和内控环节等方面对正处于转型期
数据耦合性强,处理逻辑序贯性高,处理时机存在随机性是数据融合并行的难点。本文分析了数据融合的处理逻辑以及并行处理的难点,提出了一种基于凝聚层次聚类算法的并行融合架
为了提高数据挖掘中异常检测算法在数据量增大时的准确度、灵敏度和执行效率,本文提出了一种基于MapReduce框架和Local Outlier Factor(LOF)算法的并行异常检测算法(MR-DLOF)