基于Hadoop的轨道客车LCC数据管理与分析关键技术研究

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:haixinmei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国铁路事业的蓬勃发展,我国轨道客车的保有量和运行量与日俱增,轨道客车的后续发展出现了许多新问题。主要表现为缺乏统一的轨道客车全寿命周期成本信息化管理平台,以至于不能充分考虑到全寿命周期的各环节及难以提供足够的数据支持;同时,随着数据规模不断扩大,传统关系型数据库出现性能危机,无法经济有效的存储与处理大规模数据。针对以上问题,论文设计并实现了在Hadoop生态系统下的轨道客车全寿命周期成本数据管理系统,用来实现轨道客车全寿命周期成本的全数字化管理,以解决系统对大规模数据的存储与处理问题。论文从轨道客车的决策设计、采购实施、运营维护及报废回收四个阶段分析了全寿命周期成本及数据,设计了Hadoop与My SQL数据库协作的混合存储架构,该架构基于工程师Bukhari Syeda Sana的混合存储思想,提出了一种满足轨道客车全寿命周期成本数据管理需求的新解决方案,并对其中关键技术进行了深入研究与实现。一方面,为了满足系统的数据迁移需求,论文研究了现有数据迁移算法,提出了一种基于多重嵌套迁移思想的数据迁移算法,算法核心是处理关系表的外键,基本思想是将引用的表作为HBase表的列族附加到表中。该算法分别通过主表、直接关联子表及间接关联子表三类表的数据迁移实现轨道客车全寿命周期成本数据管理系统的数据自动迁移,数据迁移结果满足完整性且数据迁移时间在可接受范围内。另一方面,为了实现异构数据库的数据访问,首先通过各自底层查询引擎并行访问数据的方法实现异构数据库的透明访问,其中HBase数据库通过HBase的get和scan原生接口实现基于Key值查询的HBase简单数据访问,通过集成HBase/Hive架构实现基于Hive QL查询语句的HBase复杂数据访问;接着采用Canal解析My SQL数据库更新日志Binlog的方式实现异构数据库的数据同步;然后通过时间戳比对的方法构建统一的异构数据库查询接口实现异构数据库的联合查询,并通过实验对比了混合存储架构与传统数据库的数据访问性能,验证了构建混合存储架构的有效性;为了更高效地完成分析任务,研究了基于Map Reduce的多元线性回归模型,实现轨道客车修复性维修费用预测,并通过实验验证了并行回归模型在进行大数据分析时的有效性;最后结合数据自动迁移与异构数据库的数据访问技术设计并实现了基于Hadoop的轨道客车LCC数据管理系统。
其他文献
随着全球化不断深入,国际合作办学项目越来越多。国际合作办学项目是国内外参与者之间的跨文化交流,课堂口译为参与者架起了沟通桥梁,保证培训课程的成功进行。本报告基于作
随着智能机器人技术的广泛应用,机器人在越来越复杂的作业环境中通过感知智能获取外界环境信息。例如家庭服务型机器人需要在家庭环境中代替人类完成家务,因此需要与日常生活用品进行交互并获得其材质性能。多模态信息融合可以使机器人精确地感知周围环境,是一个充满活力的多学科领域,值得深入学习和研究。近年来,深度学习在人工智能领域中扮演着越来越重要的角色。然而,由于深度网络中包含大量的超参数和复杂的结构,这给深度
近年来,随着化石能源大量使用造成其不断枯竭,可再生能源开发受到越来越多的重视,其中风力发电具有很广阔的发展前景和现实意义,已经在现实中受到了较大面积的普及。然而风力发电受实时风速的影响,有很强的随机性和不确定性,为了使可再生能源可以安全可靠的投入使用,微电网技术应运而生。微电网可以工作在并网模式和孤岛模式,并网模式下微电网需要向大电网提供稳定的功率输出,孤岛模式下频率的稳定是系统稳定的重要保障。当
趋向补语在汉语日常交际中经常使用,语义复杂,结构灵活,但其他很多语言中却没有这一语法项目,因此难以被汉语学习者掌握,成为汉语学习者学习的难点和重点。本文以“V下来”为
随着经济全球化的推进,以及中国改革开放的不断深入与发展,国际交流活动正在蓬勃发展,并日趋多样化。交流活动不仅在外交、经济和商业领域,也在学术访问和校际交流之间。作为
情态作为泛语言的概念,在不同的语言中有其独特的特征。关于韩语情态的研究,主要集中于情态的概念,范围以及分类的研究。尤其是认识情态,作为韩语情态重要的类型之一也备受关
本文研究课题来源于国家自然科学基金项目“交直流混合微电网中串联补偿环节与母线接口功率变换器的协调控制研究”(U1610121)。随着新能源分布式发电技术的飞速发展,交直流混合微电网已逐渐成为电气工程研究领域内一个新的研究热点。由于配电网运行状态极易对处于并网运行状态的交直流混合微电网产生影响,故通过在交直流混合微电网与配电网间增加串联环节的方法来改善这一现状,从而使处于并网运行状态的交直流混合微电
为了提供更好的口译服务以满足耳语传译在企业日常活动中日益广泛的需求,译员们需要不断加强自身耳语传译方面的能力以有效应对耳语传译现场出现的各种问题或突发状况。因而,
现实生活中,人们都会遭受心灵创伤,生活的不愉快。帮助他们回归心灵健全是许多学者和专家的所关心的。《心灵创伤》的作者是盖伊·莫瑞尔·史汀生,他在人们的潜能和心灵上的
模数转换器(Analog to Digital Conversion,ADC)在计算机数据处理、人机交互、信号处理等方面起着重要的作用,随着消费类电子产品、通信系统等领域的发展,对ADC的性能参数提出了更高的要求。对流水线ADC结构方面的改进是提高ADC精度以及转换速度的常用方法,但是无论结构如何优化也无法消除由于温度、压力、电子器件等原因造成的误差,这就需要对ADC的误差进行分析,并且设计算法针