基于Spark的烟草大数据分析系统的设计与实现

来源 :沈阳工业大学 | 被引量 : 0次 | 上传用户:liongliong419
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网的快速发展,大数据和云计算已成为IT行业和学术界最热门的话题。烟草企业在卷烟产品生产过程中,会产生多种多样的数据,包括生产过程中数据、产品质量数据、设备运行数据、生产环境数据等多维度的数据。为了满足人们对卷烟产品质量的要求,烟草企业更加注重对卷烟质量的控制,而面对大量烟草制丝生产历史数据,基于关系型数据库的数据处理系统在存储、处理和分析数据时存在建设成本高、分析能力低等不足。Apache Hadoop和Spark是目前最主流的大数据处理技术框架,具有高性能、低成本以及高可扩展性优点。那么,如何有效地利用这些大数据计算框架对烟草数据进行管理是烟草行业面临的一大挑战。因此,在这样的背景下,本文设计并实现了基于Spark的烟草大数据分析系统。首先,本文以烟草大数据分析系统的需求分析作为系统构建的出发点,围绕系统的功能性需求和非功能性需求两方面展开,将系统的功能划分为烟草数据源管理、数据查询分析、数据分析等主要模块,同时以权限管理、集群监控为系统的辅助功能模块,它们为系统的稳定性和安全性提供了保证。其次,本文基于Spark的开源框架开展了相关研究并依据系统的需求进行分析,设计了大数据分析系统的基础架构,通过分层的模式将该系统划分为烟草数据的存储层、计算层、Web服务层以及用户操作层四层架构,为实现烟草大数据分析系统奠定了基础。最后,本文通过系统部署和功能性测试,验证了基于Spark的烟草大数据分析系统的设计和实现方案的正确性与可用性,证明了该系统能够满足烟草制丝生产大数据管理和分析的需求。
其他文献
目的研究建立南柴胡与混伪品锥叶柴胡的鉴别方法。方法采用植物鉴定、药材性状鉴别、薄层色谱鉴别及DNA分子鉴定方法,对南柴胡及其混伪品锥叶柴胡进行鉴别研究。结果南柴胡与
电信业当前正处于深化转型的时代,传统业务滞缓,以移动互联网、云计算为代表的新技术,带动信息通信业务创新节奏加快,电信行业面临越来越多的跨界竞争和异质竞争。在这一形势下,电
回顾了原化工部定型鉴定的腐植酸铵、腐植酸钠、硝基腐植酸铵、腐植酸复合肥料和湿法硝基腐植酸5项工艺,重点介绍了每项工艺的原料、工艺流程、工艺设备、工艺条件、产品质量
目的帮助新药研发工作者了解与使用药物靶点数据库,并为药物靶点数据库的管理和建设提供重要信息。方法查阅国内外文献,对国内外药物靶点数据库进行比较与归纳,并对文献进行
骨髓增生异常综合征(MDS)是一组异质性疾病,以病态造血及无效造血为主要表现,病态造血在MDS的诊断中具有重要作用,但骨髓细胞形态学异常并不只出现在MDS中,且当形态学以及细
目的通过对周围血管假性动脉瘤(peripheral pseudoaneurysm,PSA)的病因及诊治作回顾性分析,以期提高周围血管假性动脉瘤的诊治水平。方法对重庆医科大学附属第一医院2005年5
2019年政府工作报告中提出,2019年国内生产总值增长预期目标为6%~6.5%,较2018年增速有所下调,根据国内外的经济形势等多种综合因素考虑,2019年我国面临的经济形势更加复杂,但
校企合作模式研究是高职教育改革与研究永恒的话题。近年来,许多从事高职教育研究和教学的专家学者从不同的方面进行了深入的研究,取得了一定的研究成果。本文对高职院校文科
随着我国国民经济的迅速发展和人民生活水平的提高,作为国民经济新兴产业的中央空调业,自20世纪90年代以来发展迅速。特别是近十年,得益于房地产投资规模尤其是商业用房投资
<正>这里,是一片红色的沃土,我国第一个省级少数民族自治政权内蒙古自治政府在这里诞生。这里,是内蒙古自治区蒙古族人口比例较高的地区之一,蒙、汉、回、满、朝鲜等22个民族