论文部分内容阅读
针对来源于多个业务系统的重复主数据影响主数据质量、主数据同步及主数据挖掘等问题，提出重复主数据检测算法fastCdrDetection。从数据可信度的角度出发，在考虑数据源可信度、数据最后更新时间及数据长度的基础上，建立主数据可信度模型，并实现可信记录生成算法。设计非递归的字符串相似度计算算法 FiledMatch，解决了由中文简写、缩写、错误拼写造成的主数据重复问题，采用 sourceKeys 算法对来源于同一业务系统、具有同样业务主键的重复记录进行预处理，从而提高重复主数据检测效率。通过对某电网基建物