【摘 要】
：
Spark框架被越来越多的企业用作大数据的计算框架,但随着现有服务器的可用内存资源增加,Spark并不能与新环境相匹配。Spark运行在Java虚拟机上,随着堆空间内存被大量使用,Jav
【机 构】
：
同济大学计算机科学与技术系,嵌入式系统与服务计算教育部重点实验室（同济大学）
论文部分内容阅读
Spark框架被越来越多的企业用作大数据的计算框架,但随着现有服务器的可用内存资源增加,Spark并不能与新环境相匹配。Spark运行在Java虚拟机上,随着堆空间内存被大量使用,Java虚拟机通过回收内存来为新对象提供空间(垃圾回收机制,GC)的时间开销占Spark作业总耗时的比例显著增加,但Spark作业的效率并未随着可用内存的增加而保持一定比例的提升。在使用非堆(本地)内存存储模式后,GC开销问题得以缓解,但缓存数据的序列化开销成为新的矛盾点。文中利用本地存储方式解决GC问题,同时通过减少序列化开销
其他文献
为了研究自动监测与传统监测所得数据是否具有可比性,2018年1~6月在三峡库区支流4个自动监测站点开展每月1次的叶绿素比对监测,对获得的24对数据进行了相关性分析、显著性检
简要介绍了国内整车滚动试验台几种机车上台方式的结构，并进行了对比。随着被试机车种类的增加，机车上台方式为能满足不同轴距和定距的试验要求，采用引导梁结构是较为合理的选择
随着社会经济的不断发展,城市建设和人防建设不断结合.防空地下室工程已日显其重要性,怎样能高质量的建设好一个人防工程已成为设计人员需要用心研究的课题,本文通过具体人防
应急救援物资多目标分配和调度集成优化是灾害应急决策中的一个难点问题.为此,构建一种面向多储备点、多发放点、多种应急救援物资的并发分配与调度多目标优化模型,提出一种
目的:分析比较应用外固定器两种手术操作方法对固定针松动、感染的影响,探讨防止固定针松动和感染的外固定器最佳穿针操作技术。方法:共240例患者,A组120例,为传统手术和护理
指出了农业废弃物排放量日益增加但综合利用率较低是我国农业生产现状,利用数据计算了我国农业废弃物的营养物质含量和近年农业废弃物秸秆排放量,充分说明我国农业废弃物基质
故障1关键词:雷达误报警、左前车门控制单元故障现象:一辆2010年产进口奔驰GL450运动型多功能车,搭载了排量为4.7 L的V8发动机和7挡手自一体变速器,行驶里程15.5万km。用户反
情境体验教学法作为一种全新的教学法,通过创设情境环境让学生有如身临英语世界,更能加深学生学习的印象,更能激发学生的学习兴趣,本文从高职院校英语教学的实践出发,来探讨
《全日制义务教育语文课程标准(实验稿)》于基本理念部分旗帜鲜明地指出：“不宜刻意追求语文知识的系统和完整”。真可谓一石激起千层浪，一时间语文教育界争论哗然。在此，笔者也