论文部分内容阅读
随着互联网业务的迅猛发展，激增的网络用户、信息数量和网络资源刺激着网络的不断升级与开拓。呈指数级增长的广大用户、信息与资源数量要求运营商提供不断升级的高品质服务，网络带宽与速度升级都迫在眉睫。从整体来看，以上这些目标的实现依赖于基础设施建设的升级，从战略上来看，通过对互联网流量流向决策分析及合理调度，也可达到高效利用当前基础设施实现升级的目标，更好的保障服务的实现与品质提升。
中国互联网信息中心CNNIC发布第37次《中国互联网络发展状况统计报告》。报告显示，截至2015年12月，中国网民规模达6.88亿，互联网普及率为50.3%；手机网民规模达6.2亿，占比提升至90.1%，无线网络覆盖明显提升，网民Wi-Fi使用率达到91.8%。相较2014年底提升2.4个百分点。庞大的用户数量以及随之而来庞大的网络应用需求推动着互联网硬件设施和软件设备的升级，网络流量十分庞大。采用海量的硬件投入来达成基础设施升级明显是不可取的；庞大的网络流量也需要分析和控制。通过探索一条合理控制网络流量流向达到高效利用当前基础设施实现升级的目标，更好的保障服务的实现与品质升级，显得必要且具有重大意义。
本文介绍的“互联网流量流向大数据智能分析决策系统”由DNS日志分析子系统和DNS旁路优化解决子系统提升本网率，采用镜像分光或FTP日志上传方式对本省DNS系统解析日志进行采集并存储。将按主要在现网DNS系统基础上完成对本省DNS系统日志1∶1采集，然后存储在本地进行离线分析，并以报表的形式将分析结果进行呈现。同时需要通过DNS旁路的方式优化点击本网率。结合DNS系统解析数据定期分析互联网热点资源，并依据分析结果，进行调度优化，使用户的访问请求尽可能多的命中网内资源，从而提升用户感知，并达到提升流量本网率和降低运营成本的效果。
DNS日志分析子系统是通过DNS日志采集、技术资料爬虫、IP段归属基础库获取得到基础数据，DNS日志采用C++处理入库；采用基于业务流的DPI识别技术识别53流量和HTTP流量的业务类型；采用网络爬虫技术，实现对关键域和域名、公司、备案号、TCP、UDP、网站名、服务类型等资料的爬虫，用作详细内容匹配。
DNS日志分析子系统结构如下图所示：
DNS旁路优化解决子系统，用户请求特定的域名，在经过整套DPI系统时，分光53流量和HTTP流量到优化系统，而DNS优化系统服务器的数量只根据DPI流量数有关，而一条流量只能对应一个网口，因此有几条流量决定了DNS优化系统服务器数量。DNS优化系统经过对特定域名的目的IP重定向返回给用户。
·平台功能-综合分析
全网DNS综合分析给客户提供DNS流量流向分析的全景视图，分别以域、域名、公司为维度，对DNS数据进行综合的统计分析，并支持图表趋势显示及数据导出。
·平台功能—本网率相关
给客户提供DNS流量流向网内、网外的视图列表，分别以出网内容、本网内容、缓存内容、引入内容等作为维度，经过计算和预处理，得出本网率情况的数据内容和非本网率的数据内容，对管理员起到指导调度程序来实现本网率的提升。
·平台功能—本省内容分析
本省内容分析给客户展示各厂家服务情况的全景视图。分别以各厂家服务的域、域名、公司为维度，将本省已经引入的CDN、IDC、缓存等相关资源通过分析得出对各厂家服务的情况的列表展现，并支持数据导出。
·平台功能—备案相关
给客户提供各个域的备案情况，以域、未备案域、未备案缓存内容、未备案引入内容等作为维度分析，以便用户查询引入本网却未备案的域，并支持图表趋势显示及数据导出。
·平台功能—告警
给客户提供各公司、厂家的告警情况，包含全部资源告警、本省资源告警。以各类阀值来判断指标是否达到告警，阀值可设置。
·平台功能—厂家服务评估
包含缓存厂家服务评估和CDN厂家服务评估，以域名、域、公司、各厂家等作为维度进行全面分析。支持以图表、列表等形式展现各类指标趋势，并支持数据导出。
·平台功能—辅助管理
辅助管理功能是针对缓存厂家与缓存域名之间的关系建立，可实现对导入域名去重、对域名、厂家、日志进行增删查改等操作，并支持批量操作域名厂家集。
·平台功能—系统管理
管理员可为不同用户、不同角色、不同组织机构设置不同操作权限，通过权限控制，做到信息保密。
·扩展功能—多维度展现
多维度展现方式，以满足不同查询需求，结果呈现更直观。
·扩展功能—多样化性能
（1）使用异步方式进行数据下载，把需要导出的数据下载到系统服务器，用户再由PC端导出，比直接通过PC端查询下载，数据处理速度更快。
（2）列向报表数据自动化调节：可对前几列域、域名、公司的关键数据冻结，更符合使用者查看习惯。
（3）支持导出Top N（分析）的数据。
（4）可设置为每页20、条50条、100条等多种显示方案。
（5）合计在底部固定位置展现，结果尽收眼底随时可查。
综上所述，通过互联网内容分析及流量流向决策分析可更好的服务互联网发展与广大网络用户需求，可显著降低成本、降低链路负载、更好应对流量突发变化。结合DNS系统解析数据定期分析互联网热点资源，并依据分析结果，进行调度优化，使用户的访问请求尽可能多的命中网内资源，从而提升用户感知，并达到提升流量本网率和降低运营成本的效果。
通过内容优化及流量控制方法实现基础设施升级目标，对于互联网的稳定高效运行有积极意义。
参考文献：
[1]林荣.网络流量控制相关关键技术研究[J].复杂系统与复杂性科学，2010（Z1）
[2]杨瑞.线性规划的网络流量流向控制技术[J].电子商务，2015（02）
（作者单位：贵州力创科技发展有限公司）
中国互联网信息中心CNNIC发布第37次《中国互联网络发展状况统计报告》。报告显示，截至2015年12月，中国网民规模达6.88亿，互联网普及率为50.3%；手机网民规模达6.2亿，占比提升至90.1%，无线网络覆盖明显提升，网民Wi-Fi使用率达到91.8%。相较2014年底提升2.4个百分点。庞大的用户数量以及随之而来庞大的网络应用需求推动着互联网硬件设施和软件设备的升级，网络流量十分庞大。采用海量的硬件投入来达成基础设施升级明显是不可取的；庞大的网络流量也需要分析和控制。通过探索一条合理控制网络流量流向达到高效利用当前基础设施实现升级的目标，更好的保障服务的实现与品质升级，显得必要且具有重大意义。
本文介绍的“互联网流量流向大数据智能分析决策系统”由DNS日志分析子系统和DNS旁路优化解决子系统提升本网率，采用镜像分光或FTP日志上传方式对本省DNS系统解析日志进行采集并存储。将按主要在现网DNS系统基础上完成对本省DNS系统日志1∶1采集，然后存储在本地进行离线分析，并以报表的形式将分析结果进行呈现。同时需要通过DNS旁路的方式优化点击本网率。结合DNS系统解析数据定期分析互联网热点资源，并依据分析结果，进行调度优化，使用户的访问请求尽可能多的命中网内资源，从而提升用户感知，并达到提升流量本网率和降低运营成本的效果。
DNS日志分析子系统是通过DNS日志采集、技术资料爬虫、IP段归属基础库获取得到基础数据，DNS日志采用C++处理入库；采用基于业务流的DPI识别技术识别53流量和HTTP流量的业务类型；采用网络爬虫技术，实现对关键域和域名、公司、备案号、TCP、UDP、网站名、服务类型等资料的爬虫，用作详细内容匹配。
DNS日志分析子系统结构如下图所示：
DNS旁路优化解决子系统，用户请求特定的域名，在经过整套DPI系统时，分光53流量和HTTP流量到优化系统，而DNS优化系统服务器的数量只根据DPI流量数有关，而一条流量只能对应一个网口，因此有几条流量决定了DNS优化系统服务器数量。DNS优化系统经过对特定域名的目的IP重定向返回给用户。
·平台功能-综合分析
全网DNS综合分析给客户提供DNS流量流向分析的全景视图，分别以域、域名、公司为维度，对DNS数据进行综合的统计分析，并支持图表趋势显示及数据导出。
·平台功能—本网率相关
给客户提供DNS流量流向网内、网外的视图列表，分别以出网内容、本网内容、缓存内容、引入内容等作为维度，经过计算和预处理，得出本网率情况的数据内容和非本网率的数据内容，对管理员起到指导调度程序来实现本网率的提升。
·平台功能—本省内容分析
本省内容分析给客户展示各厂家服务情况的全景视图。分别以各厂家服务的域、域名、公司为维度，将本省已经引入的CDN、IDC、缓存等相关资源通过分析得出对各厂家服务的情况的列表展现，并支持数据导出。
·平台功能—备案相关
给客户提供各个域的备案情况，以域、未备案域、未备案缓存内容、未备案引入内容等作为维度分析，以便用户查询引入本网却未备案的域，并支持图表趋势显示及数据导出。
·平台功能—告警
给客户提供各公司、厂家的告警情况，包含全部资源告警、本省资源告警。以各类阀值来判断指标是否达到告警，阀值可设置。
·平台功能—厂家服务评估
包含缓存厂家服务评估和CDN厂家服务评估，以域名、域、公司、各厂家等作为维度进行全面分析。支持以图表、列表等形式展现各类指标趋势，并支持数据导出。
·平台功能—辅助管理
辅助管理功能是针对缓存厂家与缓存域名之间的关系建立，可实现对导入域名去重、对域名、厂家、日志进行增删查改等操作，并支持批量操作域名厂家集。
·平台功能—系统管理
管理员可为不同用户、不同角色、不同组织机构设置不同操作权限，通过权限控制，做到信息保密。
·扩展功能—多维度展现
多维度展现方式，以满足不同查询需求，结果呈现更直观。
·扩展功能—多样化性能
（1）使用异步方式进行数据下载，把需要导出的数据下载到系统服务器，用户再由PC端导出，比直接通过PC端查询下载，数据处理速度更快。
（2）列向报表数据自动化调节：可对前几列域、域名、公司的关键数据冻结，更符合使用者查看习惯。
（3）支持导出Top N（分析）的数据。
（4）可设置为每页20、条50条、100条等多种显示方案。
（5）合计在底部固定位置展现，结果尽收眼底随时可查。
综上所述，通过互联网内容分析及流量流向决策分析可更好的服务互联网发展与广大网络用户需求，可显著降低成本、降低链路负载、更好应对流量突发变化。结合DNS系统解析数据定期分析互联网热点资源，并依据分析结果，进行调度优化，使用户的访问请求尽可能多的命中网内资源，从而提升用户感知，并达到提升流量本网率和降低运营成本的效果。
通过内容优化及流量控制方法实现基础设施升级目标，对于互联网的稳定高效运行有积极意义。
参考文献：
[1]林荣.网络流量控制相关关键技术研究[J].复杂系统与复杂性科学，2010（Z1）
[2]杨瑞.线性规划的网络流量流向控制技术[J].电子商务，2015（02）
（作者单位：贵州力创科技发展有限公司）