【摘 要】
：
在大数据平台中,随第一代Hadoop出现的基于磁盘的批处理计算框架Map Reduce的局限日益显现:数据读入和中间结果数据均依赖于大量磁盘I/O,性能有限。基于内存计算的Spark成为
【机 构】
：
广东交通职业技术学院,中国移动通信集团广东有限公司,星环信息科技（上海）有限公司
论文部分内容阅读
在大数据平台中,随第一代Hadoop出现的基于磁盘的批处理计算框架Map Reduce的局限日益显现:数据读入和中间结果数据均依赖于大量磁盘I/O,性能有限。基于内存计算的Spark成为当前重点,对比Map Reduce性能可提升10-100倍,但内存使用的成本依旧高昂。采用超高速且相对廉价的SSD作为大数据的缓存解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的Spark计算引擎和行列混合式文件结构等优化技术,设计了一种基于SSD的高性能Hadoop系统,能有效地解决大数据计算系统的性能问题和存储空间问题,实验结果显示取得数倍性能提升。
其他文献
为提高常规方法在分析多级边坡局部安全稳定性时的效率,采用变尺度搜索方法,即将边坡的搜索区间分为几个小区间,分别在各个小区间内进行局部搜索得到一系列危险滑动面,将所得
近年来,随着中国整体的工业化进程步入中后期阶段,西方发达国家在工业化进程中曾经遭遇的环境污染难题似乎在中国重新上演。来自环境监测部门的数据表明,近年来中国的空气质
慢性阻塞性肺疾病（COPE））病情的不断恶化导致发病率和死亡率急剧上升，患者生活质量急剧下降。OPD患者的治疗应联合药物和非药物措施，以有效地缓解症状，提高活动能力和生活质量。
以纤维状海泡石为原料,通过简单的酸洗改性制备用于软质PVC的阻燃添加剂。酸洗改性的海泡石采用SEM、IR和XRD技术进行表征,结果表明海泡石在强酸条件下产生链断裂现象,海泡石
为了合理地进行土坡稳定可靠度分析,提出了一种快速确定土坡概率性临界滑动面(具有最小可靠度指标的滑动面)的策略,其思路为:随机生成大量可行滑动面,并分别计算这些滑动面与
为实现三维度PLC实验教学目标,采取以渐进式贯穿模块化开放教学理论为指导核心,创建模块化实验要素和四阶梯式实验维度相交叉的教学操作程序。以自主研制的创新型开放实验系
高职“纳税实务”课程教学中存在课程设计理念及思路不清晰，实践教学效果不佳，教学方法单一，考核方式不科学等问题。必须更新课程设计理念和思路，提高教学内容的针对性和实用性，积
针对我国承压水上开采底板突水灾害随开采深度不断增大而逐年增多的趋势,以某矿综放工作面的深部开采实际为背景,根据现场煤层底板钻孔内不同深度传感器应变测试值随工作面的
<正>2013年10月,艾丽丝·门罗甫一获得诺贝尔文学奖,国内媒体便纷纷发表文章,其中谈到最多的,是门罗的创作风格,清浅、冲淡、戏剧性不强、情节琐碎又有些拖沓,等等。静谧的风