大规模评测云平台的任务管理与监控机制研究与实现

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:wskiqpk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网发展到今天在技术应用领域呈现出技术领域众多、知识更新换代快、应用规模巨大、应用技术栈复杂等特点,对IT从业者的理论知识、实践技能都有着更高、更全面的要求,与此同时IT人才市场也表现出岗位种类多、技术变化快以及能力要求高的特点,给IT人才的培养提出了更高的要求。然而作为IT人才最重要的培养途径之一,软件工程专业教学在其实践过程中却存在着知识体系更新慢、与实际生产要求脱节、培养效率较低等弊端。软件工程专业实践教学中的弊端影响着新时代的新要求下互联网人才培养的速度和质量,进一步地,也影响着国家对互联网及信息产业的人才供给。针对IT人才培养实践教学中的问题,目前已经有了一定的解决思路。较为典型的是在线编程平台和在线实验平台,然而现有的在线编程平台侧重于对基础算法的训练,缺少对复杂项目和高级技术的支持,用户也无法获得真实的项目开发体验。而在线实验平台则注重在线软件工程实验,缺少对用户学习结果或时间操作的考核,用户无法在平台上进行持续学习。本课题提出了能够支持大规模复杂项目和高级技术在线评测的云平台的实现方法。通过对评测流程的抽象和提炼,本课题基于虚拟化容器实现了自动化评测机制,使用容器作为评测运行空间,借助Kubernetes实现了容器集群的管理,并针对自动化评测中的安全、负载均衡等问题进行了研究,确保平台具备应对大规模并发评测的能力。并提出了基于自动评测机制的大规模评测任务管理方法,针对用户评测习惯对评测流程进行了优化,实现了对大规模复杂项目和高级技术在线评测的有效支持。为了保证评测云平台的稳定运行,同时保证系统能够及时地得到优化升级,本文深入分析了整个评测平台的架构和运转流程,并通过对系统运行数据的分析,通过异常和评测服务状态的相关性,从众多可监测点中选取出了有价值的部分作为监控点,并基于注释的模式,实现了基于流程划分的评测请求处理链定位机制,实现了在分布式环境中对评测请求各个服务调用情况的追踪,并基于处理链定位机制实现了异常定位、系统预警、系统性能评估与诊断等机制。在评测平台及监控原型系统实现阶段,通过合理的架构设计和业务逻辑设计,选用Kubernetes和Docker的底层架构实现了评测云平台,并根据监控系统的需求选取了Kafka分布式消息中间件和Storm流式处理框架实现了监控原型系统,并通过一系列实验和分析验证了本文工作的可行性和价值。
其他文献
随着经济和科技的发展城市车辆数量不断上涨,智能交通系统开始逐渐应用到人们的日常生活中。现代化城市交通中,视频监控覆盖了大部分的行车区域,基于计算机视觉深度学习的车
随着《国务院关于机关事业单位工作人员养老保险制度改革的决定》(国发[2015]2号)的颁布实施,职业年金制度就成为了机关事业单位工作人员养老保险的重要组成部分。职业年金制
Massive MIMO(Massive Multiple Input Multiple Output)大规模多输入多输出技术是4.5G和5G现代移动通信系统中的关键技术,它基于空间分集和空间复用的基本原理,来大幅度提高
随着经济社会的发展,数据规模不断扩大,海量数据被存放在存储系统中。但是在大型存储系统中,发生节点故障是十分正常的现象而并非异常。为了应对节点故障导致的数据丢失问题,
聚乙烯是石油化工产业的重要产品之一,气相法聚乙烯工艺由于其性能优势被广泛应用于工业生产中。该工艺以气固流化床为核心反应器,在进行聚合反应时,会因多种原因造成颗粒团
量子计算和量子通信的飞速发展,使得量子信息技术成为未来信息科技的研究热点之一。由于现有的量子设备价格高昂且携带不便,半量子(Semi-Quantum,SQ)的概念及其应用应运而生
频谱感知、频谱决策、频谱共享、频谱切换是认知无线电技术的四大功能。认知用户通过频谱感知检测出频谱空洞,并利用频谱决策、频谱共享、频谱切换三个功能对挖掘出的频谱空
随着经济条件的增长,我国的保险市场变得活跃起来,投资与再保险问题也成为目前金融研究中非常热门的方向。保险商的目的是获得最大收益,因此怎样制定最优策略,就成为保险行业
一致输出调节问题主要用于研究所有智能体如何在有限的局部信息交换条件下实现一致性,其主要任务是基于局部信息交换设计一致控制协议,使得所有智能体的状态都达到共同状态值
水浸超声检测技术在超声无损检测领域占据着重要的位置,有着信号稳定、对曲面构件有较好的适应能力、效率高容易实现自动化等特点。近几年,水浸超声检测发展迅猛,有着很好的