【摘 要】
：
提出了一种基于Spark云计算平台的并行数据分析系统。该系统以大规模图数据分析任务为主,并且支持非图数据分析的应用,集成数据分析算法集与非图数据分析算法集。详细阐述了
【机 构】
：
北京邮电大学北京市智能通信软件与多媒体重点实验室
【基金项目】
：
教育部-中国移动科研基金No.MCM20130351, 北京市教育委员会共建项目
论文部分内容阅读
提出了一种基于Spark云计算平台的并行数据分析系统。该系统以大规模图数据分析任务为主,并且支持非图数据分析的应用,集成数据分析算法集与非图数据分析算法集。详细阐述了该系统的架构设计,工作流引擎和动态组件更新技术以及部分并行数据分析算法的设计与实现。通过对多种规模的数据集进行性能测试,以及与传统的Map Reduce平台进行性能对比,证明了该系统相对于以往的图数据挖掘系统可以更高效地完成计算任务,而且也可以有效进行非图数据分析。
其他文献
人们倾向于使用少量的有代表性的特征来描述一条规则，而忽略极为次要的冗余的信息。经典的区间二型TSK（Takagi-Sugeno-Kang）模糊系统，在规则前件和后件部分会使用完整的数据特征
日本山形大学日前宣布，其研究者开发出了一种平时像橡胶一样柔软，但在磁场中就会变得像塑料一样坚硬的新材料。这种材料有望用来制造抗震构件、汽车缓冲材料和可分散人体重量的
为了提高积分投影方法对人眼定位的准确性和适用范围,提出了一种在极坐标系下对边缘强度信息进行积分投影的改进方法。基于肤色特征确定出人脸区域,采用Kirsch算子建立边缘强度信息图像,对不同极角方向进行积分投影,确定出人眼角度方向,对人眼所在角度方向的边缘强度进行微分累加运算确定出人眼的极径,从而实现人眼的极坐标定位。实验结果表明,该方法能够有效地提高各种姿态人脸图像中人眼定位的准确性,尤其对于旋转人
采用遥感结合景观分析方法,对义乌市城市用地景观结构变化进行研究。结果表明,义乌市人文景观快速发展的同时,景观密度不断减小,用地集约度不够;人为强干扰作用使城市自然景观发展滞缓,景观结构合理性不足;分析其变化机制,发现人口和经济因素与之关联密切,并构建了变化数学模型。
将犹豫模糊集概念应用于剩余格的滤子理论中,提出了剩余格的犹豫模糊滤子、犹豫模糊蕴涵滤子、犹豫模糊正定蕴涵滤子、犹豫模糊MV-滤子及犹豫模糊正规滤子的概念,研究了它们
5月14日，2011年科技活动周暨北京科技周开幕式在京举行，中共中央政治局委员、国务委员刘延东出席开幕式并强调，要突出科学发展主题和转变经济发展方式主线，切实推进科技进步与创新，广泛开展科学技术普及，促进经济社会全面协调可持续发展，为人民群众创造更加美好幸福的生活。本届科技活动周继续以“携手建设创新型国家”为主题，全国政协副主席、科技部部长万钢出席开幕式并宣布2011年全国科技活动周暨北京科技周开
日本福岛核泄漏事故发生后，广大公众和社会各界予以高度关注。一些群众被传言误导，担心受到核污染影响。为引导广大公众正确认识核科学技术知识，形成正确的舆论导向，防止恐慌情绪蔓延，四川省科协高度重视，在省科协党组的领导下，科普中心充分发挥科普资源的创作优势，紧急动员创作团队，加班制作印发了1万余套科普挂图《核辐射你知道多少》，配送到全省21个市、州科协，组织动员全省各级科协开展核科学技术知识的宣传普及工
主要来自阳光的维生素D在预防儿童哮喘方面起了重要作用。西班牙巴伦西亚大学的一项新的研究表明，生活在城市中的儿童处于患呼吸道疾病的危险中，因为城市中受太阳光照射的时间很少。 “长时间暴露在阳光下会引起癌症，但避免阳光照射也很危险，需要正反两方面的平衡。”研究人员阿尔贝托阿内多佩纳说。 事实上，90%的维生素D是通过阳光暴露合成的。它存在于各种细胞的受体中，哮喘患者的维生素D水平很低。这项研究
采用离体蛙心灌流和离体回肠灌流的方法将小麦面筋蛋白胃蛋白酶酶解液分别加入蛙心体外循环系统和豚鼠回肠体外循环系统中,通过BL-420生物机能实验系统测定蛙心心肌和肠道平
比较了水、乙醇、乙醚、氯仿、丙酮等5种溶剂和不同提取每件对烟厂下脚料中主要抗虫成分烟碱的提取效果，及乙醇提取物的抗虫谱与抗虫效果。结果发现：①5种浸提溶剂的浸提效果不