【摘 要】
：
随着大数据时代的到来,Spark因其基于内存的计算方式,已经成为当前最流行的分布式计算框架之一。为了提升易用性,Spark为用户提供了约200个可配置参数,这些参数控制着任务的
论文部分内容阅读
随着大数据时代的到来,Spark因其基于内存的计算方式,已经成为当前最流行的分布式计算框架之一。为了提升易用性,Spark为用户提供了约200个可配置参数,这些参数控制着任务的运行。然而,Spark参数空间巨大,用户经常无法合理选择哪些参数进行配置。针对此问题,本文通过实验对不同Spark参数与任务运行时间之间的关系进行了详细分析,对Spark参数重要性进行研究。实验表明,不同参数对任务影响程度差异巨大,这对开发者如何选择参数进行配置具有指导意义。
其他文献
常见的机器翻译方法有两种,一种是已经发展得比较完善的统计机器翻译,另一种是出现不久的神经机器翻译。这两种翻译方式首先都需要将文本划分成词或短语,对于一些语种,如中文
很多软件企业没有完整不变的需求作为测试依据,导致项目工作开展中测试人员很被动。针对这一行业现状,结合软件测试STEP过程改进模型,提出测试过程引导开发过程的测试预防共
随着人工智能时代的到来,智能算法应具有较强的非线性映射能力、数据处理能力和泛化能力等。文章基于支持向量机(PSO)参数优化的算法实现图像特的智能辨识。首先,理论分析SVM分类过程,明确影响SVM分类性能的重要因素。其次,选择四种不同胃状的图像特征信息作为分类对象,对特征信息进行了预处理操作,消除了量纲及量级对分类效果的影响。最后,经过粒子群优化(PSO)算法实现SVM的参数寻优,建立优化模型,可视
采用微波消解ICP—AES法同时测定蒙药新-Ⅱ中Ca、Mg、Fe、Zn、Ni、Mn、Cu、Pb等15种微量元素，并对蒙药新-Ⅱ中Ca／Mg，Cu／Zn比值进行了初步的分析。结果表明，蒙药新-Ⅱ中含有多种微
研究提出了负载聚氨酯泡沫塑料富集ICP—MS测定地球化学样品中的金、铂、钯的方法，研究了样品经灼烧、王水溶样后，负载泡沫塑料吸附条件、干扰的消除、仪器的最佳化、内标元素
采用顶空固相微萃取和气质联用技术(HS-SPME-GC-MS),从根中鉴定了31个成分,从叶中鉴定了22个成分。其中有16个共有成分。三叉耳蕨根的挥发油的主要成分是十六醛(11.24%)、正
随着科技的飞速发展,我国在国际上的地位日益增长的同时,国家领导人也在鼓励广大青年要善于将传统文化与现代科技相结合,去其糟粕,取其精华,形成一种新的文化。故本文主要介