论文部分内容阅读
【摘 要】如何高效、安全地保持数据库之间数据同步是当前数据库技术研究热点问题。本文对于分布式数据库系统同步传输技术，通过数据库同步机制研究解决了多级数据库信息交换过程中上下级数据库数据不一致问题。
【关键词】分布式数据库；同步传输
随着企业的不断发展和壮大，企业的各子部门地处于不同区域的情况越来越多，为了使企业异地使用相同的数据，大多数企业都采用了数据库提供的同步技术来解决这一问题，但该方法操作难度较大，而数据库提供的同步技术也会因网络、电力等原因造成时间同步无法进行，引起数据的丢失等[1]。本文就如何高效、安全地保持分布式数据库之间数据同步进行研究，以期解决以上问题。
一、分布式数据库同步技术理论概述
（一）分布式数据库概述及特点：分布式数据库(Distributed Database， DDB)是计算机网络环境中各场地(Site)或结点(Node)上数据库的逻辑集合。一般称传统方式的数据库为集中式数据库(Centralized Database， CDB)；称分布式数据库系统中的各场地数据库为局部数据库(Local Database， LDB)，是物理的数据库；称分布式数据库为全局数据库(Global Database， GDB)，是逻辑的数据库。分布式数据库具有分布性和逻辑协调性。分布性是指数据不是存放在单一场地为单个计算机配置的存储设备上，而是按全局需要将数据划分成一定结构的数据子集，分散地存储在各个场地上；逻辑协调性是指各场地上的数据子集，相互间由严密的约束规则加以限定而在逻辑上是一个整体。分布式数据库结构一般特征为由不同地域分散局部数据库与全局性调度管理数据库构成，以上两类数据库均具有较强的自治功能，其中前者设计实现通常需要配置相应的数据库与集中管理系统，即DDBMS系统。该局部数据库主体承担对用户各类专用数据更新与存储的控制，因而各局部数据库拥有较强的独立性。同时局部数据库对全局调度数据库至少能够分享及执行其所提供的一类全局应用功能。即或执行对远程信息数据的调阅检索、或对各类公用信息进行随机的存贮等。全局调度节点中心库通常对数据库或分布式管理系统DDBMS进行合理配置，主体承担对数据库信息的全局调度，同时展开检索查询策略与并发管理应用策略的全局执行。用户通过全局检索查询可将相应查询语句合理转换为可执行性数据库操作，同时并发管理应用则主要在并发数据库环境下完成相应操作与管理控制，包含对并发事务的封锁管理与排队处理等技术设计环节。分布式数据库管理系统主体包含网络化数据库管理、数据字典、全局性逻辑映射等实体功能，DBMS则涵盖对本地数据库的综合管理、存贮模式与局部逻辑性映射等。以上两类系统均需在相应操作系统OS基础上实现对数据库的透明操作与存贮访问。分布式数据库功能的科学实现密切相关于网络计算机应用环境，因此要求其相应网络环境需具备基于全局性检索查询策略的合理优化设计，对信息各项传输路径应作出优化选择并提供可靠性服务，展开高效有针对性的网络化数据管理，同时在数据库管理与各类网络通信软件中应设有必要的网络存取进程接口服夸。
（二）数据库同步技术：通过交换每个成员中所有已更新的记录和对象， 来更新一个副本集的两个成员的过程。当每个副本集内的更改都相互应用于另一个副本集时， 两个副本集成员就实现了同步。数据库同步又分三种：直接同步，即用于在直接连接到局域网的副本之间对数据进行同步的方法， 可通过共享的网络；文件夹使用间接同步，即一种用于断开连接环境中( 如带着便携式计算机外出时) 的同步方法，必须用“复制管理器”来配置间接同步；Internet 同步，用于将已配置了 Internet 服务器的脱机环境中的副本同步。必须使用“复制管理器”来配置 Internet 同步。基于各类生产经营管理需求，总公司与分公司间常常需要展开数据交换与传递，总公司需对分公司各项日常生产经营管理数据进行实时动态掌握，而往往总部与分公司跨地域性较大，常常不在同一所城市，进一步导致了数据处理具有一定的不良分散性，为有效解决该类矛盾，促进总公司与分公司间的数据快速同步更新、确保一致性，我们应从全局角度出发，科学树立数据库设计原则，自下而上将该类数据合理构建为分布式系统，进而确保全局数据的统一与完整。即分公司依然存储本单位数据，总部数据库则存储整体业务数据，并对其一致性与完整性展开科学检查。虽然该类方式存在数据冗余现象，然而在不同场地对同一数据存储多个副本可有效提升系统可用性与可靠性，令其局部应用效率显著提升并合理降低通讯投入代价。在数据存储层面DDBMS可通过分片、复制及两者结合的方式实现，将数据关系分片可便于我们依据用户需求实施对数据的组织分布管理，现行分片方式包含垂直、水平、混合与导出分片等，我们可依据数据不同关系采用相应的分片方式。在总部与分公司关系数据的处理中，基于分公司数据从属于总部业务数据，因此我们可通过并运算采用水平分片方式重构数据关系。针对Web数据库与总公司数据库的服务器数据依据应用功能进行划分，因此对其数据关系我们应采用垂直分片处理方式。数据同步应依据系统需求采用合并与事务复制方式，基于分公司仅存储本单位数据，相应各类数据分析及管理功能由总公司数据库服务器承担实现，各分公司仅需将完成更新的数据传递至总部数据库即可，因此我们可应用事务复制同步各项业务数据，将分公司数据库看做分发者与出版者，而总部数据库则为订阅者，针对各项分公司数据构建快照代理，同时对各类同步状态信息进行完善记录。应用事务复制的每一项分公司数据库都包含自身读取日志代理，在分发者上运行并承担与出版者的连接。
（三）缓冲池技术：一个缓冲池是与单个数据库相关联的，可以被多个表空间使用。当考虑将缓冲池用于一个或多个表空间时，必须保证表空间页大小和缓冲池页大小对于缓冲池所“服务”的所有表空间而言都是一样的。一个表空间只能使用一个缓冲池。数据库连接缓冲池，其实就是保存数据库连接的一个集合。需要数据库连接缓冲池是因为每次对数据库的开闭都是非常耗时耗资源的，如果并发请求过大，可能就导致系统反应缓慢甚至造成崩溃。
（四）触发器实现算法简介：当前数据库应用的一个普遍要求是数据库管理系统能够在一些数据库相关事件发生时触发预先定义的操作，实现信息管理的自动化，因此引进了触发器机制。触发器可以增强引用完整性，加强复杂业务的规则，或者监控数据库的变动，并执行一定的数据操作。触发器机制实现主要涉及触发事件的检测以及触发条件的判决等关键技术问题，以及对触发器的编译存储和调用执行等具体操作。
触发器事件检测机制包括对事件的检测和存储，是实现触发器的关键。触发器的条件判决机制是触发器的核心，将触发器分为前触发、约束判定和后触发三种类型。触发器的更新操作是对一个触发器进行编译后，替换已存在的作用在同一个表上的同名触发器，基本操作与触发器的创建是一致的；触发器的删除操作步骤主要是在数据字典中对指定的触发器进行查询并删除。
二、分布式技术辅助事务处理应用
事务处理实践中我们选定MSDTC为事务管理器，实现对各项服务器从事事务处理的协调。为有效降低网络故障产生的不良影响、杜绝分布式事务引发不同服务器数据不一致现象。我们可将其处理过程分为准备与提交两类阶段。在服务器端首先用脚本程序语句启动分布式事务，令服务器发挥事务管理功能，而后执行远程存储及分布式查询目标，该阶段事务管理服务器可完成对MsDTc的自动调用，并令远程服务器有效参与到各项分布式事务中。脚本程序对调用语句执行时，分布式事务服务器将会再次对MSDTC进行调用，进而完成对以上两阶段提交过程的高效管理，令连接与远程服务器实现回滚或提交事务。例如，在数据业务系统中，倘若數据库管理系统分析有重复录入数据现象，则会插入该数据信息至重复数据记录表中，并在相应局部数据库中设定该条记录为无效状态。另外我们还应选择局部数据库构建存储数据过程更新状态，在主服务器中执行脚本程序、启动相关分布式事务系统并插入记录于主数据库服务器中，同时将局部数据库相应数据表字段进行更新处理，进而全面保障系统数据的科学一致性与完整性。
三、结语
随着分布式数据库广泛应用于各个行业，异构数据库海量数据传输成为计算机研究人员关注的焦点，本文研究了分布式数据库之间数据同步，采用传输缓冲池同步技术，确保发送数据库与接收数据库数据的一致性。基于分布式数据库的优势结构特征，我们只有科学应用分布式数据库技术展开事务处理。依据网络环境特征选择合理的数据存储方式，才能有效解决数据分散与集中管理矛盾，全面实现数据的科学共享与交换更新管理。
作者简介：沙林斌（1982—），男，江苏南通人，山东财经大学讲师，2008年7月毕业于防空兵指挥学院计算机科学与技术专业 获学士学位。2013年3月至今同济大学软件学院读硕士研究生。
【关键词】分布式数据库；同步传输
随着企业的不断发展和壮大，企业的各子部门地处于不同区域的情况越来越多，为了使企业异地使用相同的数据，大多数企业都采用了数据库提供的同步技术来解决这一问题，但该方法操作难度较大，而数据库提供的同步技术也会因网络、电力等原因造成时间同步无法进行，引起数据的丢失等[1]。本文就如何高效、安全地保持分布式数据库之间数据同步进行研究，以期解决以上问题。
一、分布式数据库同步技术理论概述
（一）分布式数据库概述及特点：分布式数据库(Distributed Database， DDB)是计算机网络环境中各场地(Site)或结点(Node)上数据库的逻辑集合。一般称传统方式的数据库为集中式数据库(Centralized Database， CDB)；称分布式数据库系统中的各场地数据库为局部数据库(Local Database， LDB)，是物理的数据库；称分布式数据库为全局数据库(Global Database， GDB)，是逻辑的数据库。分布式数据库具有分布性和逻辑协调性。分布性是指数据不是存放在单一场地为单个计算机配置的存储设备上，而是按全局需要将数据划分成一定结构的数据子集，分散地存储在各个场地上；逻辑协调性是指各场地上的数据子集，相互间由严密的约束规则加以限定而在逻辑上是一个整体。分布式数据库结构一般特征为由不同地域分散局部数据库与全局性调度管理数据库构成，以上两类数据库均具有较强的自治功能，其中前者设计实现通常需要配置相应的数据库与集中管理系统，即DDBMS系统。该局部数据库主体承担对用户各类专用数据更新与存储的控制，因而各局部数据库拥有较强的独立性。同时局部数据库对全局调度数据库至少能够分享及执行其所提供的一类全局应用功能。即或执行对远程信息数据的调阅检索、或对各类公用信息进行随机的存贮等。全局调度节点中心库通常对数据库或分布式管理系统DDBMS进行合理配置，主体承担对数据库信息的全局调度，同时展开检索查询策略与并发管理应用策略的全局执行。用户通过全局检索查询可将相应查询语句合理转换为可执行性数据库操作，同时并发管理应用则主要在并发数据库环境下完成相应操作与管理控制，包含对并发事务的封锁管理与排队处理等技术设计环节。分布式数据库管理系统主体包含网络化数据库管理、数据字典、全局性逻辑映射等实体功能，DBMS则涵盖对本地数据库的综合管理、存贮模式与局部逻辑性映射等。以上两类系统均需在相应操作系统OS基础上实现对数据库的透明操作与存贮访问。分布式数据库功能的科学实现密切相关于网络计算机应用环境，因此要求其相应网络环境需具备基于全局性检索查询策略的合理优化设计，对信息各项传输路径应作出优化选择并提供可靠性服务，展开高效有针对性的网络化数据管理，同时在数据库管理与各类网络通信软件中应设有必要的网络存取进程接口服夸。
（二）数据库同步技术：通过交换每个成员中所有已更新的记录和对象， 来更新一个副本集的两个成员的过程。当每个副本集内的更改都相互应用于另一个副本集时， 两个副本集成员就实现了同步。数据库同步又分三种：直接同步，即用于在直接连接到局域网的副本之间对数据进行同步的方法， 可通过共享的网络；文件夹使用间接同步，即一种用于断开连接环境中( 如带着便携式计算机外出时) 的同步方法，必须用“复制管理器”来配置间接同步；Internet 同步，用于将已配置了 Internet 服务器的脱机环境中的副本同步。必须使用“复制管理器”来配置 Internet 同步。基于各类生产经营管理需求，总公司与分公司间常常需要展开数据交换与传递，总公司需对分公司各项日常生产经营管理数据进行实时动态掌握，而往往总部与分公司跨地域性较大，常常不在同一所城市，进一步导致了数据处理具有一定的不良分散性，为有效解决该类矛盾，促进总公司与分公司间的数据快速同步更新、确保一致性，我们应从全局角度出发，科学树立数据库设计原则，自下而上将该类数据合理构建为分布式系统，进而确保全局数据的统一与完整。即分公司依然存储本单位数据，总部数据库则存储整体业务数据，并对其一致性与完整性展开科学检查。虽然该类方式存在数据冗余现象，然而在不同场地对同一数据存储多个副本可有效提升系统可用性与可靠性，令其局部应用效率显著提升并合理降低通讯投入代价。在数据存储层面DDBMS可通过分片、复制及两者结合的方式实现，将数据关系分片可便于我们依据用户需求实施对数据的组织分布管理，现行分片方式包含垂直、水平、混合与导出分片等，我们可依据数据不同关系采用相应的分片方式。在总部与分公司关系数据的处理中，基于分公司数据从属于总部业务数据，因此我们可通过并运算采用水平分片方式重构数据关系。针对Web数据库与总公司数据库的服务器数据依据应用功能进行划分，因此对其数据关系我们应采用垂直分片处理方式。数据同步应依据系统需求采用合并与事务复制方式，基于分公司仅存储本单位数据，相应各类数据分析及管理功能由总公司数据库服务器承担实现，各分公司仅需将完成更新的数据传递至总部数据库即可，因此我们可应用事务复制同步各项业务数据，将分公司数据库看做分发者与出版者，而总部数据库则为订阅者，针对各项分公司数据构建快照代理，同时对各类同步状态信息进行完善记录。应用事务复制的每一项分公司数据库都包含自身读取日志代理，在分发者上运行并承担与出版者的连接。
（三）缓冲池技术：一个缓冲池是与单个数据库相关联的，可以被多个表空间使用。当考虑将缓冲池用于一个或多个表空间时，必须保证表空间页大小和缓冲池页大小对于缓冲池所“服务”的所有表空间而言都是一样的。一个表空间只能使用一个缓冲池。数据库连接缓冲池，其实就是保存数据库连接的一个集合。需要数据库连接缓冲池是因为每次对数据库的开闭都是非常耗时耗资源的，如果并发请求过大，可能就导致系统反应缓慢甚至造成崩溃。
（四）触发器实现算法简介：当前数据库应用的一个普遍要求是数据库管理系统能够在一些数据库相关事件发生时触发预先定义的操作，实现信息管理的自动化，因此引进了触发器机制。触发器可以增强引用完整性，加强复杂业务的规则，或者监控数据库的变动，并执行一定的数据操作。触发器机制实现主要涉及触发事件的检测以及触发条件的判决等关键技术问题，以及对触发器的编译存储和调用执行等具体操作。
触发器事件检测机制包括对事件的检测和存储，是实现触发器的关键。触发器的条件判决机制是触发器的核心，将触发器分为前触发、约束判定和后触发三种类型。触发器的更新操作是对一个触发器进行编译后，替换已存在的作用在同一个表上的同名触发器，基本操作与触发器的创建是一致的；触发器的删除操作步骤主要是在数据字典中对指定的触发器进行查询并删除。
二、分布式技术辅助事务处理应用
事务处理实践中我们选定MSDTC为事务管理器，实现对各项服务器从事事务处理的协调。为有效降低网络故障产生的不良影响、杜绝分布式事务引发不同服务器数据不一致现象。我们可将其处理过程分为准备与提交两类阶段。在服务器端首先用脚本程序语句启动分布式事务，令服务器发挥事务管理功能，而后执行远程存储及分布式查询目标，该阶段事务管理服务器可完成对MsDTc的自动调用，并令远程服务器有效参与到各项分布式事务中。脚本程序对调用语句执行时，分布式事务服务器将会再次对MSDTC进行调用，进而完成对以上两阶段提交过程的高效管理，令连接与远程服务器实现回滚或提交事务。例如，在数据业务系统中，倘若數据库管理系统分析有重复录入数据现象，则会插入该数据信息至重复数据记录表中，并在相应局部数据库中设定该条记录为无效状态。另外我们还应选择局部数据库构建存储数据过程更新状态，在主服务器中执行脚本程序、启动相关分布式事务系统并插入记录于主数据库服务器中，同时将局部数据库相应数据表字段进行更新处理，进而全面保障系统数据的科学一致性与完整性。
三、结语
随着分布式数据库广泛应用于各个行业，异构数据库海量数据传输成为计算机研究人员关注的焦点，本文研究了分布式数据库之间数据同步，采用传输缓冲池同步技术，确保发送数据库与接收数据库数据的一致性。基于分布式数据库的优势结构特征，我们只有科学应用分布式数据库技术展开事务处理。依据网络环境特征选择合理的数据存储方式，才能有效解决数据分散与集中管理矛盾，全面实现数据的科学共享与交换更新管理。
作者简介：沙林斌（1982—），男，江苏南通人，山东财经大学讲师，2008年7月毕业于防空兵指挥学院计算机科学与技术专业 获学士学位。2013年3月至今同济大学软件学院读硕士研究生。