数据仓库中数据志跟踪的理论与方法研究

来源 :中国人民解放军国防科学技术大学 | 被引量 : 0次 | 上传用户:hongnanjing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在数据仓库系统中,一个仓库数据项的精确的历史沿革,即该数据项从获取、转换、集成到现状这一完整过程的相关描述和信息,称为数据志(Data Lineage)。数据志包含两个部分:起始数据集和作用在该数据集上的数据处理过程。获取数据志的过程称为数据志跟踪(Data Lineage Tracing)。数据志跟踪技术是数据仓库研究中一个最新的前沿性课题,不仅可以支持更全面、更深入的数据分析,还可以帮助技术人员验证源数据、清洗规则和转换处理的正确性,从而提高数据仓库的质量。 作者从定义起源集入手,找出了起源集的一般规律,证明了有关起源集的定理,提出了一种“基于属性映射的弱逆与验证”的起源集跟踪方法,给出了一系列有关起源集跟踪的算法,并设计了数据志跟踪的基本过程,从而形成了一套系统的数据志跟踪理论与方法。本文的主要工作与创新有以下几个方面: 作者首先对与数据志相关的概念进行了完善和细化,给出了起源集的形式化定义,并提出了补集无关和补集相关的概念。这些定义和概念是跟踪起源集的基础,也是检验跟踪结果的依据。在此基础上,作者证明了有关起源集的5个定理,这些定理证明了转换与属性映射、起源集与属性映射、起源集与作用集之间的关系,并证明了几类转换的补集无关性。这些定理为作者根据属性映射的可逆性构造和验证弱起源集提供了基本依据和指导思想,丰富了数据志跟踪的基本理论。 作者根据可逆与弱可逆的思想,提出了一种“基于属性映射的弱逆与验证的方法(Wivem,Weak Inversion and VErification of attRibute mapping)”求解属性映射的(属性级)起源集。在此基础上,作者分析了转换的可逆性,给出了弱可逆转换的形式化定义,并通过对弱可逆转换中弱逆映射求解的弱起源集进行单维合并、多维合并来求解转换的(元组级)弱起源集。 作者证明了基本运算的起源集的唯一性定理和求解定理。基本运算的起源集唯一性定理保证了求解的基本运算的起源集的正确性,基本运算的起源集求解定理给出了求解公式,通过这些求解公式可以直接求解这些基本运算的精准的起源集,而不需要进行验证,并且一般不需要访问输入数据集,因此求解性能很好。 作者基于导出关系给出了转换图的起源集的形式化定义,证明了起源集的传递性定理。在此基础上,设计了跟踪转换图的数据志的基本过程。在构造弱起源集阶段,提出了可延续跟踪性的概念,给出了可延续跟踪性判别算法和可延续跟踪的弱逆映射的筛选算法;在验证弱起源集阶段,针对不同类型的转换和属性映射,给出了相应的验证算法。 为了验证本文提出的理论和方法,作者对TPC-H测试标准中具有代表性的关系查询Q2和Q12进行了数据志跟踪实验,验证了起源集理论和方法的有效性,并与Cui博士提出的“基于转换性质的跟踪查询过程的方法”进行了详细的比较。实验结果表明,从跟踪响应时间、存储需求和结果的精度等主要指标来分析和评价,作者提出的Wivem方法的跟踪性能在总体上优于Cui博士方法的跟踪性能。
其他文献
高校思想政治理论课教师的教学能力直接决定着课程教学效果和学生学习效果,最终也直接决定着课程实效性的高与低,因此教师教学能力是教学活动的关键一环。面对慕课这一新的教
商业银行的发展越来越依赖于计算机软件技术的发展,忽视软件技术工程的质量,不仅会阻碍商业银行的发展,甚至会带来一些负面的社会影响,因此在入世后要想保证我国商业银行在激
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
在美学发展过程中,小说和电影作为两种极具表现力的艺术形式,在其现代化发展过程中相互影响又有不同之处,由于古典小说与电影在叙事功能、审美和受众定位等方面的契合,使得容
理论模型中的溢出效应山东工程学院副教教王学真南开大学博士研究生李平从经济学理论的发展来看,目前比较倾向于探讨两个方面的问题,一是"内部化",二是"外在性"。前者源于科斯(Coase)1937年撰写
ATLAS(Abbreviated Test Language for All Systems)是一个被广泛应用于军事和电子测试的通用标准测试语言。在国外航空航天、大型武器装备等诸多领域的ATS构建中,ATLAS被视
关注人的情感发展规律,重视情感教育理念,对社会主义核心价值观的认可是通过对青少年在平时有意的活动中情感熏陶的认可,培养和实施社会主义核心价值观是非常重要的。
传统的教学方法已经不能满当今的教学理念,科技的进步,引领时代的航标,说明了教学的方法也要与时俱进。VFP教学方法的应用,在很大程度上改善了传统教学模式的不足,在中等职业学校
目的 探讨高频振荡通气(HFOV)和常频机械通气(CMV)治疗新生儿急性肺损伤(ALI)的临床效果。方法 选取我院ALI新生儿90例,随机分成HFOV组45例与CMV组45例。两组均给予基础治疗,在此基
<正> 天神朱庇特,在古罗马神话中被尊为众神之父,在古希腊神话中叫宙斯。在拉丁文中,朱庇特(Jupiter)这个词含有&#39;天父&#39;、&#39;天帝&#39;和&#39;天神&#39;的意思。巧