论文部分内容阅读
随着警务系统建立的业务信息应用系统数量的增多,系统数据量的增大,如何能够更高效地让这些系统在警务工作中发挥出更大的效益,已经逐渐引起大家更大的关注。
警务系统应用库突出的是一个综合应用的概念,它的数据模型设计不只是简单的定位于业务数据的管理,而更多的是要从业务数据资源的利用、服务角度出发,建设警务系统数据应用集合,实现数据资源的高效使用。通过警务系统应用库数据中心,实现警务系统的数据共享、综合查询、统计分析、自定义报表、情报导侦与外部职能部门的数据交换、决策支持分析等各种数据应用。
警务系统应用库建设的两大核心内容包括数据同步(ETL)系统和应用库的设计。数据源主要数据来源警务系统的业务库,根据不同策略同步到应用库。综合应用层为应用库建成后的应用扩展,如综合查询、自定义报表等等。以下为系统结构逻辑图:
一、数据同步(ETL)系统
根据警务业务系统本身的条件,警务系统应用库选择利用Oraele变化数据捕捉特性(change Data Capture,CDC特性)作为数据同步方案。 CDC作为Oraele9i数据库自有特性,捕获数据变化完整准确,对数据库性能影响较小,而且可以通过对CDC进行技术封装,降低配置复杂度,增强可管理性、可维护性。利用CDC,在对源表进行Update、Insert或Delete等操作的同时就可以提取数据,并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据,然后利用数据库视图以一种可控的方式提供给目标系统。它的优点在于提供了易于使用的API来设置CDC环境,缩短ETL的时间。不需要修改OLTP表结构,可以实现数据的递增加载。
二、警务系统应用库的设计
由于查询统计分析功能在业务库中受到一些业务规范的使用限制、而不能完全针对OLAP应用进行优化,而在应用库的设计中就可以进行优化调整,提高查询统计分析的效率,加强功能的处理强度,满足基于OLAP应用的需要。
其设计主要遵循以下原则:
(1)降低数据分散性,提高数据的耦合度
在业务库上,为了满足流程数据的流向控制和操作控制性,一些数据是分散在不同的数据表中。而在应用库建设中,为了方便查询和统计,则需要将数据的分散性降低,将数据分类合并处理,弱化表与表之间的依赖复杂度,单次运行提高查询和统计的吞吐率和执行效率,强化数据关联属性的整合。
(2)适当增加数据的冗余度
随着需求的变更和系统复杂度增加,适当的数据冗余显得有必要进行实施。在应用库建设中就要针对案、人、文书、以及相关主数据源,基于数据查询的需要,增加数据项的冗余度,减少查询关联构造复杂度,从而为综合查询,统计分析提供好的使用数据基础,利于整体性能和使用方便度的改造。
(3)适当为统计分析做数据清洗
通过对一些数据进行转化清洗,可提高统计分析的应用效率。
(4)数据变动功能实现及报表处理的实现
应用库需要对现有的公业报表进行优化处理,保证资源消耗,执行效率都在优化的范畴内,而对于统计最大的影响就是累计数据量加大引起统计耗时在延长,因此需要捕捉数据的动态改变,将数据统计范围限定在增量部分,实现统计数据的新增回退。
(5)系统流程数据处理
应用库将审批流程数据汇总归类到相关冗余数据信息中,以便用户进行审批历史的浏览,保证业务库中的信息在应用库中以更加灵活的方式进行。
(6)查询模式和种类建设
为提高查询效率,应用库中增加了专有查询模式和便捷查询种类。
警务系统应用库的建设,能更高效地让信息系统在警务工作中发挥出更大的效益。
警务系统应用库突出的是一个综合应用的概念,它的数据模型设计不只是简单的定位于业务数据的管理,而更多的是要从业务数据资源的利用、服务角度出发,建设警务系统数据应用集合,实现数据资源的高效使用。通过警务系统应用库数据中心,实现警务系统的数据共享、综合查询、统计分析、自定义报表、情报导侦与外部职能部门的数据交换、决策支持分析等各种数据应用。
警务系统应用库建设的两大核心内容包括数据同步(ETL)系统和应用库的设计。数据源主要数据来源警务系统的业务库,根据不同策略同步到应用库。综合应用层为应用库建成后的应用扩展,如综合查询、自定义报表等等。以下为系统结构逻辑图:
一、数据同步(ETL)系统
根据警务业务系统本身的条件,警务系统应用库选择利用Oraele变化数据捕捉特性(change Data Capture,CDC特性)作为数据同步方案。 CDC作为Oraele9i数据库自有特性,捕获数据变化完整准确,对数据库性能影响较小,而且可以通过对CDC进行技术封装,降低配置复杂度,增强可管理性、可维护性。利用CDC,在对源表进行Update、Insert或Delete等操作的同时就可以提取数据,并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据,然后利用数据库视图以一种可控的方式提供给目标系统。它的优点在于提供了易于使用的API来设置CDC环境,缩短ETL的时间。不需要修改OLTP表结构,可以实现数据的递增加载。
二、警务系统应用库的设计
由于查询统计分析功能在业务库中受到一些业务规范的使用限制、而不能完全针对OLAP应用进行优化,而在应用库的设计中就可以进行优化调整,提高查询统计分析的效率,加强功能的处理强度,满足基于OLAP应用的需要。
其设计主要遵循以下原则:
(1)降低数据分散性,提高数据的耦合度
在业务库上,为了满足流程数据的流向控制和操作控制性,一些数据是分散在不同的数据表中。而在应用库建设中,为了方便查询和统计,则需要将数据的分散性降低,将数据分类合并处理,弱化表与表之间的依赖复杂度,单次运行提高查询和统计的吞吐率和执行效率,强化数据关联属性的整合。
(2)适当增加数据的冗余度
随着需求的变更和系统复杂度增加,适当的数据冗余显得有必要进行实施。在应用库建设中就要针对案、人、文书、以及相关主数据源,基于数据查询的需要,增加数据项的冗余度,减少查询关联构造复杂度,从而为综合查询,统计分析提供好的使用数据基础,利于整体性能和使用方便度的改造。
(3)适当为统计分析做数据清洗
通过对一些数据进行转化清洗,可提高统计分析的应用效率。
(4)数据变动功能实现及报表处理的实现
应用库需要对现有的公业报表进行优化处理,保证资源消耗,执行效率都在优化的范畴内,而对于统计最大的影响就是累计数据量加大引起统计耗时在延长,因此需要捕捉数据的动态改变,将数据统计范围限定在增量部分,实现统计数据的新增回退。
(5)系统流程数据处理
应用库将审批流程数据汇总归类到相关冗余数据信息中,以便用户进行审批历史的浏览,保证业务库中的信息在应用库中以更加灵活的方式进行。
(6)查询模式和种类建设
为提高查询效率,应用库中增加了专有查询模式和便捷查询种类。
警务系统应用库的建设,能更高效地让信息系统在警务工作中发挥出更大的效益。