论文部分内容阅读
摘要：在线社区已经成为许多用户交流与获取信息的主要场所。但是同时，很多广告信息也充斥在许多网络社区里。这些广告不仅严重损害了社区的使用质量，使得用户在浏览这些无的信息上浪费了大量时间，一些虚假广告还有可能对普通网民的财产等方面带来严重的损失。目前已经在广告文本检测上已经有相关研究，相应的算法也应用于实际系统。考虑到几乎所有的在线社区广告均包含了联系方式，本项工作研究从检测到的广告文本里面提取联系方式。我們提取了两种算法：基于规则的算法和基于深度学习的算法。实验表明我们的算法具备较好的性能。
关键词：广告文本；抽取；算法；深度学习
1 前言
经过网络文本中联系方式的抽取具有重要的意义，从我们接触到的文献来看，目前尚没有专门的公开论文来探讨这一问题。本文提出了两种联系方式抽取算法：基于规则的算法和基于深度学习的算法。同时，我们构造了一个包含7000条互联网文本的数据集来验证我们算法的性能。本文的贡献主要体现在：1）我们首次研究了互联网文本中联系方式的抽取问题；2）我们提出了两种有效地算法，特别是首次将深度学习应用到该问题上；3）我们提出了一种结合拼音嵌入的方式来作为深度神经网络的输入。
2 相关工作
2.1 深度学习
现有的深度神经网络主要包含三种主要的架构。第一种架构是卷积神经网络。卷积神经网络的特点在于其每一层的特征都由上一层的局部区域通过共享权值的卷积核激励得到。这一特点使得卷积神经网络相比于其他神经网络方法更适合应用于图像特征的学习与表达。第二种架构是循环神经网络。RNN的本质特征是在处理单元之间既有内部的反馈连接又有前馈连接，并且RNN特别适宜用于建立序列性数据，例如文本。第三种架构是前面两种架构的融合，特别是在视频信息处理上，通过CNN来表征单帧信息，通过RNN来建模时序信息。由于本文所处理的对象是文本，所以本文将利用RNN来作为基本架构进行算法设计。
2.2 网络广告文本识别
网络广告文本识别基本都是沿用文本分类的思路来处理。传统文本分类一般包括特征选择与分类器构建两个步骤。特征选择的方法包括信息增益、互信息等等。而深度学习广泛应用于自然语言处理之后，一般利用字向量或者词向量来作为最基本的特征输入，然后利用网络来逐步得到句子、段落甚至篇章级的特征表示，并且分类器也融入网络之中。文本分类所采用的网络架构既有CNN，也有RNN，也有两者的结合。
3 本文的方法
3.1 基于语句规则的抽取
本文主要是针对中文文本中联系方式的提取，提取类型主要分为微信，QQ，手机号码三大类，其中微信又分为微信号和公众号两小类，QQ分为QQ号和QQ群号两小类。顾名思义，基于语义规则提取即根据数据中出现的标志性词汇来提取数据中可能的联系方式。本文规则提取的特点在于应用了拼音函数和汉字判别函数，现在的广告商为躲避各种屏蔽机制，往往会以标致性词汇的谐音词代替原来的标志性词汇，要统计所有的标致性词汇和其谐音词工作量大，且往往会漏掉一部分谐音词，现在我们通过拼音函数将9万多的汉字翻译成400个左右的拼音，这不仅使标致性词汇无所遁形，并且大大的降低了规则类别的维度，从而减轻了人工查找规则的负担和机器运行的负担。
3.2 基于深度神经网络的抽取
鉴于LSTM+CRF对于词性、命名体等信息提取的良好性能，本文将该模型作为联系方式提取的核心模型。模型训练数据的预处理通过语义规则标注部分数据，之后将标注结果再进行人工处理，完善规则标注程序的短板，从而保证训练出的模型在有限条件下效果最佳。标注好的数据分为训练集和测试集，实验中我们选取了汉字，汉字拼音，词性，以及对应的标签四个特征（其中标签必选），并对其进行了不同的组合方式对模型进行了训练，其中包括基于（汉字，汉字拼音，标签），（汉字，词性，标签），（汉子拼音，词性，标签）三种特征方式的LSTM模型以及三种特征方式的GRU模型。
4 实验数据及评价指标
4.1 实验数据
本文选取的数据为一游戏相关数据，其中大多包含了游戏金币钻石买卖，战盟拉人等相关联系方式，其中主要包括QQ，QQ群，微信，微信公众号，手机号码这五类联系方式。本次实验的数据量为7442，其中1000条作为测试集，其余6442条数据作为训练集。
4.2 评价指标
本文主要考虑了两类评价指标：准确率和召回率。其中准确率包括各类联系方式的准确率以及平均准确率。对于五个小类分别有一个准确率和召回率，并且最终会有一个平均的准确率和召回率。
5 实验结果与结论分析
在以上所提到的两类方法的基础上，我们对已有数据进行了实验，以下是两类模型在样本容量为1000的同一测试集上作用得到的结果。
语义规则下的联系方式提取准确率占优，其主要优势体现在QQ和QQ群的提取，而其余的准确率均在深度学习模型里取得最优值，其中汉字，拼音，标签为特征的模型效果最佳。
语义规则同样占优，其主要优势体现在QQ群和电话的提取，但其短板也尤为突出，公众号召回率低至15.79%。除QQ群的其余联系方式的召回率均在深度学习模型里取得最优值，且集中体现在汉字，拼音，标签三种特征下的GRU模型之中。
由以上两组数据的对比可知基于此数据集语义规则提取效果较好，汉字拼音标签GRU模型次之，语义规则在处理纯数字类型的联系方式上效果尤为突出，但在其他类型数据上尤其是包含汉字的公众号上效果不佳。对于深度学习模型其表现较为均衡，但在QQ和QQ群提取方面表现不突出，其原因是提取时部分QQ群错误提取成QQ，致使整体稍逊色于规则。基于此我们对数据集进行了分析，手机号码和公众号的比例与其他三类联系方式的比例相差甚大，且QQ，QQ群占据了数据的主要部分，由此可见数据分布可能会更有利于规则提取。
6 总结
本文基于7442条中文数据，对其分别进行了基于LSTM/GRU模型和传统语义规则提取联系方式的实验。传统语义规则提取更为精准，对于适量的数据可以拟定有限的规则提取出尽可能多类别的目标数据，但对于大数据传统语义规则离散型较强，拟定规则费时费力，且规则之间的影响会限制规则的种类，导致部分类别的数据难提取甚至漏提取；基于LSTM/GRU模型和传统语义规则相比提取更具有连续性，学习规则也更具有主动性，在当今大数据的背景下更为适用和契合，但其也暴露出致命的难点和弊端，深度学习模型对数据的依赖性强，数据量和数据分布也有比较高的要求，所以数据扩充和怎样高效的处理数据是当前科技环境亟需探索的一大方向。下一步还将探索更为高效的嵌入方式和网络结构。
参考文献：
[1]张嫱嫱，黄廷磊，张银明.基于聚类分析的二分网络社区挖掘[J]. 计算机应用，2015，35（12）：3511-3514.
[3]艾瑞咨询集团，《2016年中国网络广告行业年度监测报告简版》
基金项目： 本文工作受国际自然科学基金支持（资助号：61673377）.
关键词：广告文本；抽取；算法；深度学习
1 前言
经过网络文本中联系方式的抽取具有重要的意义，从我们接触到的文献来看，目前尚没有专门的公开论文来探讨这一问题。本文提出了两种联系方式抽取算法：基于规则的算法和基于深度学习的算法。同时，我们构造了一个包含7000条互联网文本的数据集来验证我们算法的性能。本文的贡献主要体现在：1）我们首次研究了互联网文本中联系方式的抽取问题；2）我们提出了两种有效地算法，特别是首次将深度学习应用到该问题上；3）我们提出了一种结合拼音嵌入的方式来作为深度神经网络的输入。
2 相关工作
2.1 深度学习
现有的深度神经网络主要包含三种主要的架构。第一种架构是卷积神经网络。卷积神经网络的特点在于其每一层的特征都由上一层的局部区域通过共享权值的卷积核激励得到。这一特点使得卷积神经网络相比于其他神经网络方法更适合应用于图像特征的学习与表达。第二种架构是循环神经网络。RNN的本质特征是在处理单元之间既有内部的反馈连接又有前馈连接，并且RNN特别适宜用于建立序列性数据，例如文本。第三种架构是前面两种架构的融合，特别是在视频信息处理上，通过CNN来表征单帧信息，通过RNN来建模时序信息。由于本文所处理的对象是文本，所以本文将利用RNN来作为基本架构进行算法设计。
2.2 网络广告文本识别
网络广告文本识别基本都是沿用文本分类的思路来处理。传统文本分类一般包括特征选择与分类器构建两个步骤。特征选择的方法包括信息增益、互信息等等。而深度学习广泛应用于自然语言处理之后，一般利用字向量或者词向量来作为最基本的特征输入，然后利用网络来逐步得到句子、段落甚至篇章级的特征表示，并且分类器也融入网络之中。文本分类所采用的网络架构既有CNN，也有RNN，也有两者的结合。
3 本文的方法
3.1 基于语句规则的抽取
本文主要是针对中文文本中联系方式的提取，提取类型主要分为微信，QQ，手机号码三大类，其中微信又分为微信号和公众号两小类，QQ分为QQ号和QQ群号两小类。顾名思义，基于语义规则提取即根据数据中出现的标志性词汇来提取数据中可能的联系方式。本文规则提取的特点在于应用了拼音函数和汉字判别函数，现在的广告商为躲避各种屏蔽机制，往往会以标致性词汇的谐音词代替原来的标志性词汇，要统计所有的标致性词汇和其谐音词工作量大，且往往会漏掉一部分谐音词，现在我们通过拼音函数将9万多的汉字翻译成400个左右的拼音，这不仅使标致性词汇无所遁形，并且大大的降低了规则类别的维度，从而减轻了人工查找规则的负担和机器运行的负担。
3.2 基于深度神经网络的抽取
鉴于LSTM+CRF对于词性、命名体等信息提取的良好性能，本文将该模型作为联系方式提取的核心模型。模型训练数据的预处理通过语义规则标注部分数据，之后将标注结果再进行人工处理，完善规则标注程序的短板，从而保证训练出的模型在有限条件下效果最佳。标注好的数据分为训练集和测试集，实验中我们选取了汉字，汉字拼音，词性，以及对应的标签四个特征（其中标签必选），并对其进行了不同的组合方式对模型进行了训练，其中包括基于（汉字，汉字拼音，标签），（汉字，词性，标签），（汉子拼音，词性，标签）三种特征方式的LSTM模型以及三种特征方式的GRU模型。
4 实验数据及评价指标
4.1 实验数据
本文选取的数据为一游戏相关数据，其中大多包含了游戏金币钻石买卖，战盟拉人等相关联系方式，其中主要包括QQ，QQ群，微信，微信公众号，手机号码这五类联系方式。本次实验的数据量为7442，其中1000条作为测试集，其余6442条数据作为训练集。
4.2 评价指标
本文主要考虑了两类评价指标：准确率和召回率。其中准确率包括各类联系方式的准确率以及平均准确率。对于五个小类分别有一个准确率和召回率，并且最终会有一个平均的准确率和召回率。
5 实验结果与结论分析
在以上所提到的两类方法的基础上，我们对已有数据进行了实验，以下是两类模型在样本容量为1000的同一测试集上作用得到的结果。
语义规则下的联系方式提取准确率占优，其主要优势体现在QQ和QQ群的提取，而其余的准确率均在深度学习模型里取得最优值，其中汉字，拼音，标签为特征的模型效果最佳。
语义规则同样占优，其主要优势体现在QQ群和电话的提取，但其短板也尤为突出，公众号召回率低至15.79%。除QQ群的其余联系方式的召回率均在深度学习模型里取得最优值，且集中体现在汉字，拼音，标签三种特征下的GRU模型之中。
由以上两组数据的对比可知基于此数据集语义规则提取效果较好，汉字拼音标签GRU模型次之，语义规则在处理纯数字类型的联系方式上效果尤为突出，但在其他类型数据上尤其是包含汉字的公众号上效果不佳。对于深度学习模型其表现较为均衡，但在QQ和QQ群提取方面表现不突出，其原因是提取时部分QQ群错误提取成QQ，致使整体稍逊色于规则。基于此我们对数据集进行了分析，手机号码和公众号的比例与其他三类联系方式的比例相差甚大，且QQ，QQ群占据了数据的主要部分，由此可见数据分布可能会更有利于规则提取。
6 总结
本文基于7442条中文数据，对其分别进行了基于LSTM/GRU模型和传统语义规则提取联系方式的实验。传统语义规则提取更为精准，对于适量的数据可以拟定有限的规则提取出尽可能多类别的目标数据，但对于大数据传统语义规则离散型较强，拟定规则费时费力，且规则之间的影响会限制规则的种类，导致部分类别的数据难提取甚至漏提取；基于LSTM/GRU模型和传统语义规则相比提取更具有连续性，学习规则也更具有主动性，在当今大数据的背景下更为适用和契合，但其也暴露出致命的难点和弊端，深度学习模型对数据的依赖性强，数据量和数据分布也有比较高的要求，所以数据扩充和怎样高效的处理数据是当前科技环境亟需探索的一大方向。下一步还将探索更为高效的嵌入方式和网络结构。
参考文献：
[1]张嫱嫱，黄廷磊，张银明.基于聚类分析的二分网络社区挖掘[J]. 计算机应用，2015，35（12）：3511-3514.
[3]艾瑞咨询集团，《2016年中国网络广告行业年度监测报告简版》
基金项目： 本文工作受国际自然科学基金支持（资助号：61673377）.