【摘 要】
：
针对大数据采集工作面临的数据来源多样性、异构性、不稳定性等复杂问题,提出一种基于Flume、Kafka、HDFS等大数据组件设计的一个稳定可靠地分布式数据采集系统来完成多源异构数据的采集工作。使用Flume提供的source组件以及支持自定义source组件完成多样异构数据源的数据采集工作,使用Kafka来充当channel角色,借助其分布式特性提升单个channel的稳定性,使用HDFS的备份功能,提高数据存储的可靠性,同时使用sink processors来实现数据写入HDFS的故障转移和负载均衡。结
论文部分内容阅读
针对大数据采集工作面临的数据来源多样性、异构性、不稳定性等复杂问题,提出一种基于Flume、Kafka、HDFS等大数据组件设计的一个稳定可靠地分布式数据采集系统来完成多源异构数据的采集工作。使用Flume提供的source组件以及支持自定义source组件完成多样异构数据源的数据采集工作,使用Kafka来充当channel角色,借助其分布式特性提升单个channel的稳定性,使用HDFS的备份功能,提高数据存储的可靠性,同时使用sink processors来实现数据写入HDFS的故障转移和负载均衡。结
其他文献
针对十字路口场景下,部署的多个路侧单元能量消耗严重的问题,提出了一种路侧单元调度算法,称为最近最快算法(nearest and fastest,NFEST)。在NFEST算法中,路侧单元覆盖范围内的所有车辆,优先分配距离路侧单元最近的车辆进行数据传输,这样能保证路侧单元对车辆进行下行数据传输能耗最低;若两车与路侧单元的距离相同,则优先选速度最快的车辆进行服务分配,这样能保证相同的路侧单元能耗情况下,车辆的请求完成率最高。仿真结果表明,和一直处于开启状态下的路侧单元比较,该调度算法下的路侧单元可以有效降低路
针对传统的购物App设计各层次间耦合性大、层次间界限划分模糊等问题,设计了一款购物App。App采用MVP(model-view-presenter)软件设计模式,在系统结构框架上分为Model层、View层、Presenter层,分别实现数据修改与操作功能、用户交互功能、业务逻辑处理功能。以某高校学生入学采购物品的需求为基础,以拎包客App为例,将系统功能结构分为登录注册模块、个人中心模块、购物中心模块、服务中心模块、活动中心模块,使用MVP模式进行软件设计,实现了登录注册、选购商品、服务选择等功能,经
在信息化校园建设框架内,通过微信扫描二维码进行校内会议签到,实现会议签到的信息化、专业化、系统化。以HTML5+JS+PHP+MySQL为开发语言,通过与统一认证系统、微信公众号等平台进行集成、融合。分别从系统分析、系统设计、系统展示方面进行介绍,详述了会议签到系统的建设过程。实现了多个会议、多个用户同时进行签到,精确统计人员的参会情况,节省人力物力,提高效率。经过多次的实践,可应用于校内各类大中型学术、学习等会议的签到,实际应用中快速、方便、效率高。
目前粒子滤波算法在建立状态转移方程和量测方程时,未考虑到设备的退化趋势,导致预测设备的退化曲线准确性不高.针对以上问题,提出了一种基于退化轨迹的设备剩余寿命预测方法