随着我国桥梁基础设施的大量兴建,国内桥梁健康监测系统的应用及研究亦逐渐成熟,但此前的研究主要集中在基于有效数据的桥梁结构损伤识别及安全预警等方面,对于监测数据本身的数据异常及清洗研究尚不成熟。考虑到数据质量对于后续桥梁结构服役性能分析的重要性,本文首先构建大数据平台,充分利用其高效率的平行计算能力及高容错率的分布式文件系统,对监测数据达到秒级的处理效果,保证数据清洗、数据分析及安全预警的实时性。此外,本文以南京大胜关高速铁路钢桁拱桥及烈士河中小公路桥为研究对象,针对不同数据类型分别进行对比分析数据清洗算法的有效性及可行性。本文主要研究内容及结论如下:(1)构建了基于大数据的高可靠性、高可用性、高存储效率及高扩展性桥梁健康监测系统分析处理平台。在对比分析各种大数据技术优缺点后,该大数据平台处理离线数据选用HDFS实现数据存储,使用Spark实现数据分析建模;处理实时数据采用Kafka实现缓存,采用Spark-streaming读取数据并实时处理。最后通过实验分析,对比验证了该平台在离线计算性能、实时在线性能、可扩展性、容错能力方面的优越性和可靠性。(2)针对监测数据噪声、跳点及漂移现象对比分析得出最优的数据清洗方法。考虑到不同数据类型的影响,该部分研究内容基于信号较为稳定的桥梁温度数据和信号波动较大的桥梁应变数据分别进行研究。(1)数据噪声问题,仅处理信号稳定的温度数据:对于信号稳定的数据,Super Smoother算法去噪效果稳定,缺点在于温度数据本身应存在的细节特征会被过度清洗;移动平均滤波器仅适用于较为简单的噪声中,对于复杂的噪声形式处理效果不理想;小波分解方法去噪效果最为优异,针对不同传感器类型的数据,设置不同的小波分解层数,清洗效果能够更接近真实状态。(2)数据跳点问题:对于信号稳定的温度数据,区间估计方法仅能识别简单跳点现象;改进的区间估计方法虽然识别效果上提升较大,但是同时也对数据“误判”较多;广义3δ准则之Super Smoother算法能够准确识别温度数据中的跳点现象,效果佳;广义3δ准则之小波方法虽识别效果优异,但是对异常值阈值限制更为严格,故更适用于信号不稳定的数据;移动窗高斯滤波受限于窗口值的设置,不能对所有数据跳点异常进行准确判断。对于信号波动较大的应变数据,采用多源传感器数据关联性及广义3δ准则之小波方法相结合的方法进行判别应变跳点,处理效果精度高。(3)数据漂移问题:对于信号较为稳定的温度数据,采用结合基于数据关联性的漂移清洗方法和基于数据差值的广义3δ准则漂移清洗的方法,能够有效清除明显的漂移现象。对于信号波动较大的应变数据,由于其漂移现象少且在采集数据时修改部分参数可解决漂移问题,故无需进行漂移清洗。(3)针对不同类型的数据提出相应的数据缺失修补算法,形成完整、通用的数据补点方法流程。数据补点的目标在于保证90%以上数据恢复准确性,对于数据缺失过多的监测数据无需进行补点修复。数据补点实验及验证结果表明:(1)对于信号稳定的温度数据,若数据缺失率在15%以内,采用一维时程插值方法进行补点;若数据缺失率在15%~20%,采用一维时程拟合方法进行补点;若数据缺失率在20%以上,则数据直接舍弃。(2)对于信号波动较大的应变数据,提出基于数据关联性的数据补点算法。数据缺失率在0%~20%时,基于数据关联性的应变数据补点效果较好,在工程可接受范围内;对于数据缺失率超过20%的数据,建议直接舍弃该数据。