Spark SQL优化器系统Catalyst的深入解析和应用

来源 :决策咨询 | 被引量 : 0次 | 上传用户:liuwenting02
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Spark SQL是Spark生态系统中的一个新的模块,它将关系处理与函数编程API集成在Spark中。Spark SQL为程序员提供了利用关系处理长处,如声明性查询和优化存储,并允许SQL用户在Spark中调用复杂的分析库,例如,机器学习。为了使Spark SQL易于添加组合规则,控制代码生成,和制定扩展点,Spark生态系统引入了一个基于Scala编程语言功能开源的高度可扩展的优化器Catalyst。值得一提的是,Catalyst还允许构建各种功能,包括J ON的模式推断、机器学习类型选择,以及在数据
其他文献
2018年1月,北京市政府印发了《北京市支持建设世界一流新型研发机构实施办法(试行)》,明确新型研发机构的公益性定位,突出与国际接轨的体制机制创新,创新财政科技经费支持方
微言语  或许家人最不懂,但懂不懂有什么重要的呢,最终消除隔阂的不是无所不知的脑袋,而是手拉手永远不放的那颗心。  微言语  你的时间有限,不要浪费于重复别人的生活,不要让别人的观点淹没了你内心的声音。  微言语  人对他人的需求越少,就会活得越自如越安详。没有人,哪怕他愿意,也不可能完全满足另一个人的需要,唯一的办法就是令自己的需要适可而止。  ——廖一梅  微言语  我活在世上,无非想要明白些
1977年母亲病危时,我坐在病床边,握着母亲的手,问母亲还有什么要嘱咐我的. 母亲望着我,眼角淌下泪来.母亲说:'我真希望你哥跟我一块儿死,那他就不会拖累你了……' 我