论文部分内容阅读
【摘 要】近些年国内通信运营商虽然在不断地建设和完善垃圾短信分析和拦截系统，但由于用户量和信息发送数量不断增加，对于垃圾短信系统处理设备的配置要求不断升高，故导致运营商的建设和维护成本不断增加，使通信运营商处于困难处境。此时研究出一套可以提高垃圾短信分析和拦截系统使用效率的方法显得十分重要。该项研究准备在垃圾短信分析和拦截平台与短信中心之间，设计一个Proxy网元，在保证其与各系统接口的连通性设计、可网管性设计和安全性设计的基础上。在这个网元上设计短信内容分析、用户行为模型分析、用户分析管理等功能，对接收到的短信内容和行为进行预处理，将收到的具有违规内容或行为特征比较明显的短信进行直接拦截，反之将发送短信内容或行为特征不明显的短信发送到垃圾短信分析拦截平台和安全分析系统中进行进一步分析。这种方法不但可以大幅提高系统处理效率，而且具有高可扩展和灵活性，为运营商降低建设成本起到了重要作用。
【关键词】垃圾短信；AntiSpamming；Proxy网元；拦截优化
0.绪论
课题背景。
随着移动通信服务客户群体的不断增加以及短信业务价格的不断下降，短信业务已经赢得了广大手机用户的高度喜爱，短信业务被人们称之为继广播、电视、报纸、互联网之后的“第五大传播媒介”。然而伴随着短信用户数量的不断攀升，“垃圾短信”问题也越发明显。
1.垃圾短信拦截技术及原理
如今国内三大运营商针对治理垃圾短消息的技术，主要是通过三种监控拦截机制实现的，分别是协议监控机制、实时过滤机制和话单分析机制。这三种监控机制的技术要求主要满足以下几个方面：
（1）监控面积大，可以监控网内的所有短消息数据。
（2）高可扩展性，设置采集节点时，选择采集方便的网络位置，在扩展系统处理能力时，尽量不对现有业务产生影响。
（3）多种监控过滤机制综合使用，灵活配置过滤规则，具备实时更新功能，针对垃圾短信特点的不断变化，制定过来规则，从而保证对垃圾短信的最大拦截能力。
（4）针对不同采集方式采集到的短信息数据能够正常进行监控和过来并实时进行存储，从而保证对垃圾短信的特征分析和内容处理。
1.1即时过滤机制
根据通信部制定的《短信息业务中心与短信息监控中心接口规范》，SMSC网元和SMMC网元之间的数据通信均采用标准的SMPP协议格式，SMSC网元通过DELIVER_SM将起呼（MO，Mobile Original）消息发送给SMMC网元，SMMC网元提取DELIVER SM中的short_message_text字段的数据内容，通过设置的规则进行即时过滤，并且回复给SMSC网元一条DELIVER SM RESP的数据消息，如果DELIVER SM RESP的判定字段取值是“TRUE”，则认为“鉴权通过”，则SMSC网元将该MO数据信息入库，然后转换成MT数据消息下发；如果DELIVER SM RESP的判定字段取值是“flase”，则认为“鉴权失败”，SMSC网元将该MO数据消息直接进行丢弃。
如果出现错误处理，SMSC网元等待响应数据消息的时间大于等于5s时，则SMSC网元记录日志，正常下发信息。如果在SMPP层发生错误或错误操作超时时，则SMSC网元按照正常流程进行处理（即发送短信）。
即时过滤机制其实也存在问题，如果只对数据消息的内容做简单判断，通常采用关键字内容匹配的方式进行，这样就很难对发送频率和成功率等问题进行复杂的分析和统计工作。如果想实现更准确的过滤，短信安全中心可以在即时过滤的同时将数据消息内容全部存入数据库，从而对数据消息的发送频率、数据消息的发送内容、发送的成功率做详细的分析和统计，然后再通过分析的结果制定有针对性的拦截过滤规则。
1.2话单分析机制
话单分析处理结构图如下所示。话单采集功能模块通过FTP协议方式接收SMSC网元计费服务器发送过来的短信息话单，然后将话单进行解析转换，再录入数据库服务器。
监控系统中的重要模块（即统计监控模块）对数据库存储的内容进行分析统计，主要包括以下三种方式：
（1）消息数据监控：将短消息数据和监控系统中设定的关键字进行比较，当短消息内容与关键字相匹配度达到一定值时，系统可认为此条短消息为可疑信息，列入鉴权名单。
（2）监控起呼信息条数：在监控功能模块中设制在一定时间内MO消息条数的门限阀值（即设定为100 条/秒），假如当一个号发送短消息条数在一定时间内达到或超过设定的阀值时，就可认为该短信为疑似垃圾短信。
（3）发送信息号段规律监控：当监控功能模块检测到某个号发送短消息的号段为规律号段，就可认为该短信为疑似垃圾短信。
2.Proxy网元在垃圾短信分析拦截系统中的设计
2.1系统总体结构的设计方案
短消息中心和安全系统Proxy之间新建一个Proxy网元，短消息中心收到提交短信请求后，发出的垃圾短信鉴权请求送新建Proxy，新建Proxy对信息进行初步特征鉴别，如果通过，再由新建Proxy 转发给本地垃圾短信分析（拦截）平台和安全系统Proxy，新建Proxy对本地垃圾短信分析（拦截）平台和安全系统Proxy返回的应答进行分析，如果都鉴权通过，则给短消息中心返回鉴权成功，放通短消息。否则鉴权失败，拦截短信。
2.2硬件平台结构设计
2.2.1垃圾短信分析（拦截）平台双机和集群方案
垃圾短信优化提速分析（拦截）系统可以通过VCS双机软件实现平台和数据库双机，以保证系统的可靠性，并且也可以通过平台集群和数据库集群的方式，可以完成最高可支持240000条/秒的短消息处理能力。其中，每PCS的ATAE单板上能达到6000条/秒。
2.2.2垃圾短信分析（拦截）平台和数据库的双机方案
垃圾短信分析（拦截）平台和数据库均采用双机冷备的方式来保证系统的可靠性。是基于active/standby的备份方式，即在同一时间内只有一台服务器运行。当其中运行着的一台服务器出现故障无法启动时，另一台备份服务器会被集群软件激活，保证应用在短时间内完全恢复正常使用。
2.2.3垃圾短信分析（拦截）平台软件的集群方案
垃圾短信分析（拦截）平台主要服务模块包括短消息采集模块和业务处理模块，短消息采集模块通过SMPP协议采集并解析从短消息中心（短消息网关）接收的待鉴权短消息，消息解析完成后发送到业务处理模块完成对短消息内容和用户发送行为的分析判断。
2.2.4数据库服务器的集群方案
垃圾短信分析（拦截）系统的数据库采用Oracle11g，为保证数据存储的高可用性、高性能以及灵活的扩展性，系统采用了RAC（Oracle Real Application Cluster）集群技术。Oracle RAC 运行于集群之上，为 Oracle 数据库提供了最高级别的可用性、可伸缩性和低成本计算能力。如果集群内的一个节点发生故障，Oracle 将可以继续在其余的節点上运行。如果需要更高的处理能力，新的节点可轻松添加至集群。为了保持低成本，即使最高端的系统也可以从采用标准化商用组件的小型低成本集群开始逐步构建而成。
3.结论
我们紧随本文前文说所到的垃圾短信数量不断增加使国内各大运营商的监控维护费用不提高，因此处境十分困顿说起，对现有垃圾短信拦截平台进行优化显得十分必要。本次研究主要通过改变网络结构、新增Proxy网元，从而优化垃圾短信监控平台降低运营维护费用。
【关键词】垃圾短信；AntiSpamming；Proxy网元；拦截优化
0.绪论
课题背景。
随着移动通信服务客户群体的不断增加以及短信业务价格的不断下降，短信业务已经赢得了广大手机用户的高度喜爱，短信业务被人们称之为继广播、电视、报纸、互联网之后的“第五大传播媒介”。然而伴随着短信用户数量的不断攀升，“垃圾短信”问题也越发明显。
1.垃圾短信拦截技术及原理
如今国内三大运营商针对治理垃圾短消息的技术，主要是通过三种监控拦截机制实现的，分别是协议监控机制、实时过滤机制和话单分析机制。这三种监控机制的技术要求主要满足以下几个方面：
（1）监控面积大，可以监控网内的所有短消息数据。
（2）高可扩展性，设置采集节点时，选择采集方便的网络位置，在扩展系统处理能力时，尽量不对现有业务产生影响。
（3）多种监控过滤机制综合使用，灵活配置过滤规则，具备实时更新功能，针对垃圾短信特点的不断变化，制定过来规则，从而保证对垃圾短信的最大拦截能力。
（4）针对不同采集方式采集到的短信息数据能够正常进行监控和过来并实时进行存储，从而保证对垃圾短信的特征分析和内容处理。
1.1即时过滤机制
根据通信部制定的《短信息业务中心与短信息监控中心接口规范》，SMSC网元和SMMC网元之间的数据通信均采用标准的SMPP协议格式，SMSC网元通过DELIVER_SM将起呼（MO，Mobile Original）消息发送给SMMC网元，SMMC网元提取DELIVER SM中的short_message_text字段的数据内容，通过设置的规则进行即时过滤，并且回复给SMSC网元一条DELIVER SM RESP的数据消息，如果DELIVER SM RESP的判定字段取值是“TRUE”，则认为“鉴权通过”，则SMSC网元将该MO数据信息入库，然后转换成MT数据消息下发；如果DELIVER SM RESP的判定字段取值是“flase”，则认为“鉴权失败”，SMSC网元将该MO数据消息直接进行丢弃。
如果出现错误处理，SMSC网元等待响应数据消息的时间大于等于5s时，则SMSC网元记录日志，正常下发信息。如果在SMPP层发生错误或错误操作超时时，则SMSC网元按照正常流程进行处理（即发送短信）。
即时过滤机制其实也存在问题，如果只对数据消息的内容做简单判断，通常采用关键字内容匹配的方式进行，这样就很难对发送频率和成功率等问题进行复杂的分析和统计工作。如果想实现更准确的过滤，短信安全中心可以在即时过滤的同时将数据消息内容全部存入数据库，从而对数据消息的发送频率、数据消息的发送内容、发送的成功率做详细的分析和统计，然后再通过分析的结果制定有针对性的拦截过滤规则。
1.2话单分析机制
话单分析处理结构图如下所示。话单采集功能模块通过FTP协议方式接收SMSC网元计费服务器发送过来的短信息话单，然后将话单进行解析转换，再录入数据库服务器。
监控系统中的重要模块（即统计监控模块）对数据库存储的内容进行分析统计，主要包括以下三种方式：
（1）消息数据监控：将短消息数据和监控系统中设定的关键字进行比较，当短消息内容与关键字相匹配度达到一定值时，系统可认为此条短消息为可疑信息，列入鉴权名单。
（2）监控起呼信息条数：在监控功能模块中设制在一定时间内MO消息条数的门限阀值（即设定为100 条/秒），假如当一个号发送短消息条数在一定时间内达到或超过设定的阀值时，就可认为该短信为疑似垃圾短信。
（3）发送信息号段规律监控：当监控功能模块检测到某个号发送短消息的号段为规律号段，就可认为该短信为疑似垃圾短信。
2.Proxy网元在垃圾短信分析拦截系统中的设计
2.1系统总体结构的设计方案
短消息中心和安全系统Proxy之间新建一个Proxy网元，短消息中心收到提交短信请求后，发出的垃圾短信鉴权请求送新建Proxy，新建Proxy对信息进行初步特征鉴别，如果通过，再由新建Proxy 转发给本地垃圾短信分析（拦截）平台和安全系统Proxy，新建Proxy对本地垃圾短信分析（拦截）平台和安全系统Proxy返回的应答进行分析，如果都鉴权通过，则给短消息中心返回鉴权成功，放通短消息。否则鉴权失败，拦截短信。
2.2硬件平台结构设计
2.2.1垃圾短信分析（拦截）平台双机和集群方案
垃圾短信优化提速分析（拦截）系统可以通过VCS双机软件实现平台和数据库双机，以保证系统的可靠性，并且也可以通过平台集群和数据库集群的方式，可以完成最高可支持240000条/秒的短消息处理能力。其中，每PCS的ATAE单板上能达到6000条/秒。
2.2.2垃圾短信分析（拦截）平台和数据库的双机方案
垃圾短信分析（拦截）平台和数据库均采用双机冷备的方式来保证系统的可靠性。是基于active/standby的备份方式，即在同一时间内只有一台服务器运行。当其中运行着的一台服务器出现故障无法启动时，另一台备份服务器会被集群软件激活，保证应用在短时间内完全恢复正常使用。
2.2.3垃圾短信分析（拦截）平台软件的集群方案
垃圾短信分析（拦截）平台主要服务模块包括短消息采集模块和业务处理模块，短消息采集模块通过SMPP协议采集并解析从短消息中心（短消息网关）接收的待鉴权短消息，消息解析完成后发送到业务处理模块完成对短消息内容和用户发送行为的分析判断。
2.2.4数据库服务器的集群方案
垃圾短信分析（拦截）系统的数据库采用Oracle11g，为保证数据存储的高可用性、高性能以及灵活的扩展性，系统采用了RAC（Oracle Real Application Cluster）集群技术。Oracle RAC 运行于集群之上，为 Oracle 数据库提供了最高级别的可用性、可伸缩性和低成本计算能力。如果集群内的一个节点发生故障，Oracle 将可以继续在其余的節点上运行。如果需要更高的处理能力，新的节点可轻松添加至集群。为了保持低成本，即使最高端的系统也可以从采用标准化商用组件的小型低成本集群开始逐步构建而成。
3.结论
我们紧随本文前文说所到的垃圾短信数量不断增加使国内各大运营商的监控维护费用不提高，因此处境十分困顿说起，对现有垃圾短信拦截平台进行优化显得十分必要。本次研究主要通过改变网络结构、新增Proxy网元，从而优化垃圾短信监控平台降低运营维护费用。