基于私有云和物理机的混合型大数据平台设计及实现

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:handsomeboywp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。
其他文献
物流行业的快速发展离不开现代化物流信息网络系统的支持。本文探索了建设物流信息交易平台的思路和目标,研究了物流信息交易平台应具有的功能,并探讨了实现物流信息交易平台
总结了抗氧剂的作用机理、发展趋势和结构与抗氧性的关系。抗氧剂作用机理包括链终止剂、过氧化物分解剂和金属离子钝化剂,其中链终止剂包括氢给予体、自由基捕捉剂和电子给
<正>任何教育改革都是在一定的政治、经济、文化的社会背景中所发生的。所以这些要素就在不同程度上制约或促进着教育改革的发生与发展。纵观中国20世末到21世纪初的基础教育
<正>"互联网+"成最热投资主题"互联网+"无疑是2015年资本市场最受关注的热词。2015年3月5日,国务院总理李克强在政府工作报告中首次提出"互联网+"行动计划。就此,我国涉及"互
<正>答:肿瘤是一种基因疾病,其发病机制包括单核苷酸突变、拷贝数变异、插入/缺失等。肿瘤研究的关键是理解基因的改变在肿瘤发生、发展过程中发挥的作用。随着肿瘤标志物的
生态环境问题是全球性的问题,其根源在于人类主观目的与自然客观规律的背离。人类能否消解生态环境危机,是关乎全人类生存、发展和未来归宿的根本性问题。这就需要我们认真学
在竞争日益激烈的市场之中,蓝海战略分析框架可以有效帮助中国企业打开无竞争市场空间,其具体分析步骤为:首先得出战略布局图和原有价值曲线,然后通过六步搜索法找出企业成功
作为一个环境治理的单位,污水厂的主要任务是降解和去除水体中的污染物质,如何让污水厂各工艺处理单元发挥其作用,最终让出水稳定达标,是污水厂工艺管理的重点工作。如果将污
对于建筑工程而言,地质勘察工作是较为基础、重要的环节,直接对工程的质量产生很大影响。本文先探讨工程地质勘察中存在的监督管理、技术管理以及勘察人员专业综合素质等常见的问题,然后阐述加强监督管理、技术方法以及提高勘察人员的专业综合素质对工程建筑发展的重要性,旨在为工程建筑的建设提供帮助。
综述了脂肪 -芳香族共聚聚酯 (CPEs)在生物医用材料和环境友好材料领域的研究进展 ,介绍了CPEs的合成及力学性能、热性能、生物降解性、生物相容性和环境安全性 ,展望了CPEs