随着计算机领域的发展,科技类数据的结构趋向于复杂,在数据整合的过程中,数据重复的比率日趋增高。数据复用技术是解决当前数据管理中节省存储空间、提高数据利用率等问题的有效手段。本文依托“河北省科技攻关项目科技大数据标准化处理与应用系统研发”(172110113D)和“河北省科技创新大数据公共平台”项目,提出了一种基于科技数据相似性分析的数据实体关联映射复用方法。首先针对科技数据中不同数据集的数据维度进行分析,建立相似维度组对;在此基础上进一步计算实体数据维度值相似率,进而建立数据实体之间的关联映射关系,最后进行标准化并存储,达到科技数据复用目的。论文的主要研究工作如下:(1)基于深度学习的科技数据相似维度组对的优化分析建立了一种维度权重量化机制,对数据维度进行权重分析,筛选可复用维度。针对不同科技数据集的维度,进行相似度匹配分析,建立不同数据集之间的相似维度组对;运用深度学习算法进行训练,获得最优相似维度组对。(2)科技数据实体关联映射的构建与标准化根据数据集之间形成的相似维度组对,进行不同数据集之间的数据实体关联映射分析。相对于传统的以查询中间结果为数据复用对象,本文从数据实体之间建立的关联映射出发,对相似维度组对下数据实体维度值的相似度进行计算,设定相似阈值,根据计算结果判断数据实体是否相似,是否可复用。可复用数据实体之间建立关联映射关系,并进行标准化。(3)科技数据复用结果的列式存储采用列式存储对科技数据复用分析的结果进行存储。相较于传统的行式存储,列式存储是以键值对形式,即<key-value>方式进行数据存储。复用数据整合过程中,其维度往往是非固定,传统的行式存储难以解决这个问题,而列式存储的<key-value>结构正好与“标准维度-标准维度值”形式相符合。同时,列存储结构本身也具有控冗余特性,能够提高数据复用效率。