论文部分内容阅读
摘 要：针对某运营商公司在已有大数据平台增加对外提供数据监控服务的需求，本文从整体上和功能上进行了基于云平台的数据监控管理系统，可对该平台上的大数据的运行状态和第三方租户用户的服务情况进行监控和管理。
关键字：大数据;监控管理;云平台;租户服务
中图分类号： 文献标识码： A
0 引言
互联网时代，诸多技术脱颖而出，为人们的生活提供了巨大便捷。云计算是当下较为热门的技术，该技术将处理资源、存储资源和网络传输资源集成部署到现有的云计算平台中。同时为了便于以上资源的管理、为资源引入和分配提供灵活性，创建虚拟资源池，并按照实际的需求对资源池体量予以调整，实现了成本投入和性能需求的平衡[1-2]。近年硬件性能不断提升，各大企业面临着巨大的用户访问压力，开始聚焦于云计算的战略部署，促进了云计算机的普及与应用[3]。
大数据时代诞生了诸多数据分析工具，为充分挖掘数据蕴含的价值提供了技术基础，运营商与其他企业相比发展大数据产业有独特的优势，首先是运营商有大量的用户群体，能够捕捉到用户的上网行为数据，深入分析后可以为多项政策开展提供理论支撑，使得运营商的业务服务更加贴合用户需求[4]。
某运营商公司大数据平台建设成熟后还向第三方公司提供数据存储管理服务，可以合作进行数据的加工，伴随着基础硬件平台性能的不断提升，业务数据量也逐渐增加，大数据平台也包含了企业诸多隐私数据，因此要建立完备的大数据平台监控体系，充分保证数据的规范使用。同时对数据集群的运行状态进行精准监控，并对出现的各种行为实现报警，如果出现异常问题，可以及时的发现并通知安全维护人员，及时将损失降低到最低[5]。
1 系统整体设计
本数据监控管理系统的网络架构设计是基于B/S架构，由用户、网关、服务器组成。用户类型主要有数据监控管理员、租户和系统管理员三类，用户通过浏览器和网络对系统进行访问。服务器类型主要有采集服务器、数据处理服务器、数据存储服务器和应用服务器四类，完成数据的采集、处理、存储及应用任务。由于某公司数据采集量较大，因此设计搭建万兆专线互连的方式实现大数据采集。
在业务功能方面，本数据监控管理系统采用的MVC模式，包括表现层、业务层、数据连接层、数据存储层四个层级。表现层是系统与用户交互的直接窗口，负责本系统的业务功能进行视图和数据等形式进行展示。业务层对数据进行逻辑处理和解析，并在封装后推送至数据连接层。数据连接层负责管理和存储数据，同时定义接口与大数据平台进行对接，实现主机节点、容器、服务的运行状态数据。数据存储层存储系统数据和业务数据，这部分数据是用Oracle数据库，其他租户数据内容均存储在大数据平台上，主要为HDFS分布式存储架构。通过开发接口对接和获取所需数据。
2 系统功能设计
数据监控管理系统用于实现对大数据平台整体资源使用情况进行展现，该系统的功能模块设计图如图1所示：包含的功能模块有节点和IP管理模块、容器管理模块、服务管理模块、镜像管理模块、多租户管理模块以及系统管理模块。
（1）节点和IP管理模块
节点管理模块能够对大数据平台的物理机器资源的运行状态和IP地址信息进行监控，包括节点管理子功能和IP管理功能。
（2）容器管理模块
容器管理模块显示平台中的所有容器以及对于容器宿主机的单独展示。租户服务集群会由容器构成，容器运行于宿主机之上，本模块可根据容器IP、容器所属服务集群名称等查询容器条目，展示具体容器资源情况。容器与租户和服务信息相绑定，租户可在容器内进行程序部署和数据应用。容器管理模块包括容器创建功能、容器查询功能、宿主机查询功能。
（3）服务管理模块
服务可看做容器服务化集群供租户使用，通过服务管理可以添加、删除、修改一项服务，并且可以查看各项服务的CPU数量、内存大小、IP和健康状态。服务管理模块包括服务监控功能、服务新建功能、服务维护功能。
（4）镜像管理模块
为保證容器镜像安全以及镜像定制需求的，公司大数据平台设有私有镜像库，镜像管理负责管理平台私有镜像库中的镜像组件。镜像管理模块包括镜像查看功能、镜像删除功能。
（5）多租户管理模块
多租户管理模块进行租户权限管控以及相关HDFS目录的资源管控和展示。每个租户必在平台上有一个属于自己的HDFS目录，对于平台中的HDFS的监控和管理即为租户的云存储管理，其HDFS目录与租户共存，租户生成即目录生成，租户删除即会将目录同步删除，因此将对于HDFS资源的管控直接放置与租户管理部分，不单独新增模块。租户管理能显示某租户申请的全部资源使用情况，包括服务情况、存储情况、使用期限等内容。租户在HDFS上具有自己的私有目录，在创建租户的同时会在HDFS上生成对应的私有目录，会对私有目录进行权限和配额管理，实现数据隔离。多租户管理模块 包括HDFS管理功能、租户新建功能、租户资源概览、租户控制功能。其中租户资源概览模块可单独供租户使用查看。
（6）系统管理模块
系统管理模块进行用户权限管控以及相关HDFS目录的资源管控和展示，并进行系统登陆和系统操作过程记录、管控、存储和查询，形成系统登陆查询日志和系统操作查询日志。
3 应用及展望
本系统提升分布式集群资源管理框架及容器化管理能力，从应用效果来看，本监控系统的上线运行实现整个平台集群和各个组件的运行状态的监控，同时实现整个平台租户服务的管理。系统对开源组件进行封装，实现集群资源、权限的统一管理、租户服务的部署和监控。如通过页面监控平台或容器状态数据、控制租户可用HDFS资源、权限、服务操作等。
但是目前的数据监控管理系统在功能和服务方面仍然存在一定程度的局限性。
对于运营商企业而言，数据体量和运维模式决定了其日益增加的数据规模和硬件设备的线性增加，导致日常的监控和运维任务增加，数据监控管理系统的功能和监控并发需求需要进一步增加。
功能方面，目前仅对存储空间进行了分配，对于第三方租户而言，往往应用数据时需要进行相关开发工作，因此运营商公司在提供数据服务的同时，需提供软件开发环境和相关组件的安装服务，也可作为一个收费项目进行开展。同时，可引入计费管理功能，对不同服务的费用明细向租户进行展示，做到收费项目透明化。
参考文献：
[1] 慕善文. 面向联通大数据的精准营销算法研究[D].北方工业大学，2019.
[2] 罗勋. 基于大数据系统中国联通公司移动互联网产品策略研究[D]，广西大学，2015.
[3] 霍玉嵩， 房秉毅， 陈清金. 开放共享中国联通打造沃云大数据产业生态[J]. 通信世界， 2017（13）：34-37.
[4] 王佳， 金诚， 谢美德. 在通信领域中大数据技术的应用分析[J]. 通讯世界月刊， 2016，43（34）：23-28.
[5] 刘山. 中国联通大数据应用之路[J]. 信息通信技术， 2015（6）：13-16.
关键字：大数据;监控管理;云平台;租户服务
中图分类号： 文献标识码： A
0 引言
互联网时代，诸多技术脱颖而出，为人们的生活提供了巨大便捷。云计算是当下较为热门的技术，该技术将处理资源、存储资源和网络传输资源集成部署到现有的云计算平台中。同时为了便于以上资源的管理、为资源引入和分配提供灵活性，创建虚拟资源池，并按照实际的需求对资源池体量予以调整，实现了成本投入和性能需求的平衡[1-2]。近年硬件性能不断提升，各大企业面临着巨大的用户访问压力，开始聚焦于云计算的战略部署，促进了云计算机的普及与应用[3]。
大数据时代诞生了诸多数据分析工具，为充分挖掘数据蕴含的价值提供了技术基础，运营商与其他企业相比发展大数据产业有独特的优势，首先是运营商有大量的用户群体，能够捕捉到用户的上网行为数据，深入分析后可以为多项政策开展提供理论支撑，使得运营商的业务服务更加贴合用户需求[4]。
某运营商公司大数据平台建设成熟后还向第三方公司提供数据存储管理服务，可以合作进行数据的加工，伴随着基础硬件平台性能的不断提升，业务数据量也逐渐增加，大数据平台也包含了企业诸多隐私数据，因此要建立完备的大数据平台监控体系，充分保证数据的规范使用。同时对数据集群的运行状态进行精准监控，并对出现的各种行为实现报警，如果出现异常问题，可以及时的发现并通知安全维护人员，及时将损失降低到最低[5]。
1 系统整体设计
本数据监控管理系统的网络架构设计是基于B/S架构，由用户、网关、服务器组成。用户类型主要有数据监控管理员、租户和系统管理员三类，用户通过浏览器和网络对系统进行访问。服务器类型主要有采集服务器、数据处理服务器、数据存储服务器和应用服务器四类，完成数据的采集、处理、存储及应用任务。由于某公司数据采集量较大，因此设计搭建万兆专线互连的方式实现大数据采集。
在业务功能方面，本数据监控管理系统采用的MVC模式，包括表现层、业务层、数据连接层、数据存储层四个层级。表现层是系统与用户交互的直接窗口，负责本系统的业务功能进行视图和数据等形式进行展示。业务层对数据进行逻辑处理和解析，并在封装后推送至数据连接层。数据连接层负责管理和存储数据，同时定义接口与大数据平台进行对接，实现主机节点、容器、服务的运行状态数据。数据存储层存储系统数据和业务数据，这部分数据是用Oracle数据库，其他租户数据内容均存储在大数据平台上，主要为HDFS分布式存储架构。通过开发接口对接和获取所需数据。
2 系统功能设计
数据监控管理系统用于实现对大数据平台整体资源使用情况进行展现，该系统的功能模块设计图如图1所示：包含的功能模块有节点和IP管理模块、容器管理模块、服务管理模块、镜像管理模块、多租户管理模块以及系统管理模块。
（1）节点和IP管理模块
节点管理模块能够对大数据平台的物理机器资源的运行状态和IP地址信息进行监控，包括节点管理子功能和IP管理功能。
（2）容器管理模块
容器管理模块显示平台中的所有容器以及对于容器宿主机的单独展示。租户服务集群会由容器构成，容器运行于宿主机之上，本模块可根据容器IP、容器所属服务集群名称等查询容器条目，展示具体容器资源情况。容器与租户和服务信息相绑定，租户可在容器内进行程序部署和数据应用。容器管理模块包括容器创建功能、容器查询功能、宿主机查询功能。
（3）服务管理模块
服务可看做容器服务化集群供租户使用，通过服务管理可以添加、删除、修改一项服务，并且可以查看各项服务的CPU数量、内存大小、IP和健康状态。服务管理模块包括服务监控功能、服务新建功能、服务维护功能。
（4）镜像管理模块
为保證容器镜像安全以及镜像定制需求的，公司大数据平台设有私有镜像库，镜像管理负责管理平台私有镜像库中的镜像组件。镜像管理模块包括镜像查看功能、镜像删除功能。
（5）多租户管理模块
多租户管理模块进行租户权限管控以及相关HDFS目录的资源管控和展示。每个租户必在平台上有一个属于自己的HDFS目录，对于平台中的HDFS的监控和管理即为租户的云存储管理，其HDFS目录与租户共存，租户生成即目录生成，租户删除即会将目录同步删除，因此将对于HDFS资源的管控直接放置与租户管理部分，不单独新增模块。租户管理能显示某租户申请的全部资源使用情况，包括服务情况、存储情况、使用期限等内容。租户在HDFS上具有自己的私有目录，在创建租户的同时会在HDFS上生成对应的私有目录，会对私有目录进行权限和配额管理，实现数据隔离。多租户管理模块 包括HDFS管理功能、租户新建功能、租户资源概览、租户控制功能。其中租户资源概览模块可单独供租户使用查看。
（6）系统管理模块
系统管理模块进行用户权限管控以及相关HDFS目录的资源管控和展示，并进行系统登陆和系统操作过程记录、管控、存储和查询，形成系统登陆查询日志和系统操作查询日志。
3 应用及展望
本系统提升分布式集群资源管理框架及容器化管理能力，从应用效果来看，本监控系统的上线运行实现整个平台集群和各个组件的运行状态的监控，同时实现整个平台租户服务的管理。系统对开源组件进行封装，实现集群资源、权限的统一管理、租户服务的部署和监控。如通过页面监控平台或容器状态数据、控制租户可用HDFS资源、权限、服务操作等。
但是目前的数据监控管理系统在功能和服务方面仍然存在一定程度的局限性。
对于运营商企业而言，数据体量和运维模式决定了其日益增加的数据规模和硬件设备的线性增加，导致日常的监控和运维任务增加，数据监控管理系统的功能和监控并发需求需要进一步增加。
功能方面，目前仅对存储空间进行了分配，对于第三方租户而言，往往应用数据时需要进行相关开发工作，因此运营商公司在提供数据服务的同时，需提供软件开发环境和相关组件的安装服务，也可作为一个收费项目进行开展。同时，可引入计费管理功能，对不同服务的费用明细向租户进行展示，做到收费项目透明化。
参考文献：
[1] 慕善文. 面向联通大数据的精准营销算法研究[D].北方工业大学，2019.
[2] 罗勋. 基于大数据系统中国联通公司移动互联网产品策略研究[D]，广西大学，2015.
[3] 霍玉嵩， 房秉毅， 陈清金. 开放共享中国联通打造沃云大数据产业生态[J]. 通信世界， 2017（13）：34-37.
[4] 王佳， 金诚， 谢美德. 在通信领域中大数据技术的应用分析[J]. 通讯世界月刊， 2016，43（34）：23-28.
[5] 刘山. 中国联通大数据应用之路[J]. 信息通信技术， 2015（6）：13-16.