论文部分内容阅读
提出了基于相关系数与决定系数相结合的监测数据清洗方法。该方法首先对实时采集的数据按设定单位时间进行切片,得到若干个小数据集,并按时间顺序进行编号;然后运用决定系数法对各个数据集进行清洗,生成新的小数据集;最后通过相关系数法将相关性很大的数据集删除,从而获得重复性低特征明显的小数据集。通过试验验证,该方法对数据集有很好的清洗、去重、筛选能力。