伴随着大数据时代的到来,数据已经成为了各大企业一笔重大的财富,怎样将数据有效的管理起来便成了一个亟待解决的问题,将数据拆分出来保存在不同的地域和不同的存储空间上,是一个有效解决数据管理问题的方案;于是对大数据同步的研究,便成为了一个热门的研究方向。数据同步的研究在系统容灾、智慧校园、智慧农业、智能物流等方面都得到了很多的应用,具有重要的应用意义。本文以“移动ng4.0项目改造工程”中的数据同步为背景,对目前移动NGBOSS系统中的CRM和BILLING两大平台进行了详细的分析,针对移动业务运营支撑系统中CRM和BILLING系统之间数据同步存在的同步速度慢,出现误差频次高,需要人工处理概率大等问题提出了新的解决方案,本文的主要工作有以下两点:针对目前业务运营支撑系统在生成同步文件的过程中没有规范同步文件的大小,导致数据在同步过程中出现同步消耗时间长,甚至出现同步进程僵死,需要人工处理的问题,本文在同步流程中设计了一个自定义数据开关,其主要思想是:将数据开关以参数的形式定义在XML文件中,用来规定每个同步文件能容纳的数据阀值,CRM主机根据开关参数捞取同步数据。实验数据表明这种方式能控制同步文件的大小,解决了由于同步文件过大导致同步数据失败,进而影响整个系统运营的问题。针对同步文件中存在重复数据,数据记录排列杂乱无序,浪费磁盘空间,消耗网络资源多,影响同步效率的问题,本文提出了对同步文件进行序列化处理的解决方案,其主要思想是:CRM侧首先生成同步临时文件,通过JAVA程序交叉调用Linux命令方法,对同步临时文件进行合并,删除文件中的重复记录并重新编排同步文件序列,这种方法能有效的删除同步文件中的冗余数据,规范同步文件中的数据序列,有利于节省主机磁盘空间,减少文件在同步过程中对网络资源的消耗,提高了数据入库效率。