论文部分内容阅读
摘 要:在5G+B(北斗)+AICDE(人工智能、物联网、云计算、大数据、边缘计算)的移动互联网时代,各企业对供应商、代理商的管理工作尤为关键,这涉及一系列风险防控。如何高效识别代理商的异常行为,一直是代理商风险管控的重点。因此,文章开展了基于代理商风险管控的异常行为识别的研究,高度重视风险管控,将管理问题技术化,为技术人员提供方案指导,为管理人员提供模型支持,为领导阶层提供决策支撑。
关键词:代理商;风险管控;异常行为;行为识别;风险管理
0 引言
随着时代的变迁与新型技术的开发,电信/移动运营商的业务不断推陈出新。为了满足各类业务开发、推广等方面的需求,运营商的IT支撑平台越做越庞大,内部关系也越来越复杂。一些不法分子试图寻找运营商在业务方面的规则或者平台管理方面的漏洞,非授权地占用或者无底线地倒卖资源,或发展虚假用户并为虚假用户办理业务套取相关业务的佣金,极大地危害着公司利益。所有的这些行为,极大地危害着运营商的利益,是对法律的挑战,极大地影响了运营商的正常运营。电信管理论坛“Revenue Assurance Survey 2016”显示,欧美电信运营商的平均收入流失率为1.5%,而中国运营商由于客户服务的标准要求更高,违规套利犯罪成本低,收入流失比例远远高于欧美。因此,亟须一种方法,找到藏匿在正常用户群体的风险用户,以供后续进一步分析其行为,挖掘深层次的风险。
为了应对不法分子的非法侵占,运营商采取了一系列的措施来围追堵截。常见的措施包括:(1)基于规则的欺诈行为检测方法。该方法是先制定行为检测的规则与欺诈门限的阈值,对所有疑似不法分子进行识别。(2)基于裙带关联的用户识别方法。在确定不法分子的基础上,梳理出与不法分子有交易或信息交互的用户,然后按照一定的规则来过滤高风险用户,进而发现不法分子。
1 欺诈风险识别与定位思路
首先利用用户价值分析法获取存在风险的目标,同时基于价值和业务指标将风险目标进行分群,每一群代表了某一类具备相似特征的风险目标。通过价值分析分群后,能够在很大程度上区分出正常行为和风险目标,可以显著提升后续处理所需数据的数据质量,并降低在确定参数权重过程中的运算层数和运算量。
在通过用户价值分析法获取风险目标分群数据后,则使用异常行为检测法,对每个风险目标的业务受理动作进行数据采集和分析,包括业务受理时间、渠道、参数、受理用户信息、受理产品等信息,从而检测风险目标使用外挂程序、网络爬虫等先进“作案”手法盗取用户信息、批量受理资金倒挂产品等非法行为。
在确定风险目标具体违规套利手段的检测过程中,除了使用基于风险目标本身业务受理数据的特征刻画和自学习,还可通过不同风险等级的风险目标集群间业务特征的对照,进一步优化特征权重和特征值,提高预测命中率、预测覆盖率和预测准确率。
2 基于风险管控的欺诈行为识别
2.1 基于用户价值的行为分析与用户定位
简而言之,所谓的用户价值是指在一定的时间或特定的窗口周期内,借助于一些特定的方式或手段(如点对点付费、精神领袖的言论号召、企业品牌的口碑推广等),用户为移动运营商所贡献的价值总和。用户价值是衡量用户级别的关键,是企业维系用户与向用户提供服务的重要依据。
基于价值分析的风险用户识别,主要包括以下步骤。
(1)全面分析用户价值,构建相应的评价体系。按照常规的理解,用户价值可简单地按照“用户收益减去用户成本”计算,其中,用户收益是用户出账收入的累加,而用户成本则是各类支出(包括网间结算的累计支出、SP累计结算支出、营销活动的成本累计支持等)。
(2)引入考核指标,对用户价值进行量化。按照费用的统计维度,用户收益主要包括两个方面:消费本身的价值(比如话费充值)、消费衍生的价值(如基于活动订购业务或购买终端)。按照费用的统计渠道,用户成本主要包括三类:基于营销活动的成本、基于用户发展的成本、基于费用结算的成本。
(3)使用一定的规则,统计用户在生命周期内的价值。可以采用5G+AICDE的技术对用户价值进行全面分析与统计,比如使用AI技术分析用户的行为特征,使用大数据技术对用户进行画像分析,使用云计算分析用户的业务需求等。
(4)基于用户价值和分析体系,获取用户的利润贡献率。所谓的利润贡献率是指用户价值在运营商整个利润池里的比例,计算公式为:利润贡献率=用户价值总和/运营商业务利润总和×100%[1]。
(5)细化用户价值的成分,开展聚类分析。此处用户价值的组成成分包括诸多指标,比如话费充值的本金,运营商对用户的馈赠费、酬金,服务提供商的业务结算,业务在不同运营商之间的网间结算等。
(6)引入贡献利润率指标,按照贡献利润率对用户进行排序,找出贡献利润率低的客户群体,剔除该群体。贡献利润率是基于投入与产出的关系来确定的,比如,可以把产出/成本低于1/3的群体,定为贡献利润率低的群体。当然,阈值的设定,可根据实际情况、区域特征、业务性质等方面进行综合评价。
(7)基于用户行为,对低价值客户实施二次聚类分析。其中,用户行为的范围较为广泛,内容包括业务使用行为、缴费行为、推广行为等。
(8)设定一系列具有风险的场景,基于场景的应用,实施用户群体的归类或分类。相应的场景包括使用超高酬金进行套利、倒卖营销资源获利等。
2.2 异常行为检测
步骤1:数据预处理。采用大数据的kafka stream流处理技术按照时间窗口实时提取4A权限日志、服务日志等信息并进行时序处理、数据清洗,剔除白名单用户[2]。
步骤2:特征提取。具体内容包括:(1)用户特征刻画。建立用户ID编码、用户的城市、不同类型业务操作的量、 10分钟窗口操作量、不同地市业务量等。(2)业务特征。建立业务ID编码、业务描述文本编码、业务类型分类等特征。(3)Categorical feature-Embedding。城市、服務器IP、用户IP、DOW等都是类别特征。对这些特征的常规处理是one-hot编码[3],会造成特征维度高且稀疏。Embedding将类别特征随机映射为连续的高密度低维向量,可以提高模型的效率。(4)特征值转换。由于不同操作员账号、不同业务操作类型、不同时间段对应的业务操作数据量差异较大,在使用深度学习算法预测前需要先对特征数据进行归一化处理,在项目预研中尝试多种方法,其中采用均值和标准差的归一化方式效果最佳(见表1)。 步骤3:智能分析。采取“无监督”+“有监督”组合模式[4],无监督模型可有效预测未知异常,有监督模型根据标注的数据预测相似异常。
针对千万级的样本数据,深度学习模型的表现优于机器学习算法(回归等)。经统计每天ESB服务总线产生约亿条级别日志,采用前馈神经网络AutoEncoder算法训练无监督模型,针对千万级样本数据中少量异常样本数据,模型能够最大完好拟合大部分正常样本,而少量异常样本拟合较差,因此将损失值较大的样本作为异常数据输出。
针对无监督模型,尝试选取MLP、AutoEncoder、孤立森林等多种深度学习或机器学习算法,经测验其中孤立森林算法结果的召回率60%,AutoEncoder结果召回率100%,无监督模型中深度学习AutoEncoder算法效果最优。
在有监督模型中,选取了逻辑回归、决策树、支持向量机、随机森林多种机器学习算法,经测试随机森林和决策树算法较优,采用随机森林作为有监督算法模型。
3 结语
就生产企业而言,对供应商的日常管理与风险监控,是一个长期的过程。管理的手段创新是企业向数字化、智能化、科学化转型的必要经历。本文的研究主旨在于将管理问题技术化,采用IT化手段来实现,用新型技术来识别管理风险。后期,将主要从两个方面开展工作。一方面,对现有的识别方案进行優化与完善,让当前方案具有更大的应用场景和适用范围,力争将现有的方案固化为相应的模型或系统。另一方面,选取一定的企业进行试点应用,用现实案例来检查方案的质量,让更多的企业从中受益,实现方案的价值最大化。
作者简介:韦媚(1986—),女,广西南宁人,工程师,学士;研究方向:IT应用,项目管理,大数据应用,风险稽核等。
[参考文献]
[1]张小明.风险防控思维下的应急治理研究[J].中国应急管理,2021(3):48-51.
[2]朱有祥,张彤.推行“精准化”风险管控模式—山东省青岛市李沧区指导小微企业建立双重预防机制记事[J].中国应急管理,2021(3):88-89.
[3]赵研.基于自适应巡视算法的工业物联网异常行为检测[J].移动通信,2021(3):100-103.
[4]周启清,陈香蹀.供应链金融反保理业务风险评价与管控[J].金融经济,2021(3):67-73.
(编辑 姚 鑫)
Research on the abnormal behavior identification of agent risk management
and control under the background of Internet
Wei Mei, Qin Yanmei, Wei Zhiyu
(China Mobile Communication Group Guangxi Co., Ltd., Nanning 450000, China)
Abstract:In the era of 5G + B (Beidou) + AICDE (Artificial Intelligence, the Internet of Things, Cloud Computing, Big Data, Edge Computing), the management work of the enterprises to the agents and suppliers is very important and it is related to a series of risk prevention and control. How to effectively identify the abnormal behavior of agents has always been the focus of agent risk management and control. Therefore, this paper conducts research on the abnormal behavior identification of agent risk management and control, attaches great importance to risk management and control, makes management problems technical, provides scheme guidance for technical personnel, provides mode; support for management personnel and provides decision support for leaders.
Key words:agent; risk control; abnormal behavior; behavior recognition; risk management
关键词:代理商;风险管控;异常行为;行为识别;风险管理
0 引言
随着时代的变迁与新型技术的开发,电信/移动运营商的业务不断推陈出新。为了满足各类业务开发、推广等方面的需求,运营商的IT支撑平台越做越庞大,内部关系也越来越复杂。一些不法分子试图寻找运营商在业务方面的规则或者平台管理方面的漏洞,非授权地占用或者无底线地倒卖资源,或发展虚假用户并为虚假用户办理业务套取相关业务的佣金,极大地危害着公司利益。所有的这些行为,极大地危害着运营商的利益,是对法律的挑战,极大地影响了运营商的正常运营。电信管理论坛“Revenue Assurance Survey 2016”显示,欧美电信运营商的平均收入流失率为1.5%,而中国运营商由于客户服务的标准要求更高,违规套利犯罪成本低,收入流失比例远远高于欧美。因此,亟须一种方法,找到藏匿在正常用户群体的风险用户,以供后续进一步分析其行为,挖掘深层次的风险。
为了应对不法分子的非法侵占,运营商采取了一系列的措施来围追堵截。常见的措施包括:(1)基于规则的欺诈行为检测方法。该方法是先制定行为检测的规则与欺诈门限的阈值,对所有疑似不法分子进行识别。(2)基于裙带关联的用户识别方法。在确定不法分子的基础上,梳理出与不法分子有交易或信息交互的用户,然后按照一定的规则来过滤高风险用户,进而发现不法分子。
1 欺诈风险识别与定位思路
首先利用用户价值分析法获取存在风险的目标,同时基于价值和业务指标将风险目标进行分群,每一群代表了某一类具备相似特征的风险目标。通过价值分析分群后,能够在很大程度上区分出正常行为和风险目标,可以显著提升后续处理所需数据的数据质量,并降低在确定参数权重过程中的运算层数和运算量。
在通过用户价值分析法获取风险目标分群数据后,则使用异常行为检测法,对每个风险目标的业务受理动作进行数据采集和分析,包括业务受理时间、渠道、参数、受理用户信息、受理产品等信息,从而检测风险目标使用外挂程序、网络爬虫等先进“作案”手法盗取用户信息、批量受理资金倒挂产品等非法行为。
在确定风险目标具体违规套利手段的检测过程中,除了使用基于风险目标本身业务受理数据的特征刻画和自学习,还可通过不同风险等级的风险目标集群间业务特征的对照,进一步优化特征权重和特征值,提高预测命中率、预测覆盖率和预测准确率。
2 基于风险管控的欺诈行为识别
2.1 基于用户价值的行为分析与用户定位
简而言之,所谓的用户价值是指在一定的时间或特定的窗口周期内,借助于一些特定的方式或手段(如点对点付费、精神领袖的言论号召、企业品牌的口碑推广等),用户为移动运营商所贡献的价值总和。用户价值是衡量用户级别的关键,是企业维系用户与向用户提供服务的重要依据。
基于价值分析的风险用户识别,主要包括以下步骤。
(1)全面分析用户价值,构建相应的评价体系。按照常规的理解,用户价值可简单地按照“用户收益减去用户成本”计算,其中,用户收益是用户出账收入的累加,而用户成本则是各类支出(包括网间结算的累计支出、SP累计结算支出、营销活动的成本累计支持等)。
(2)引入考核指标,对用户价值进行量化。按照费用的统计维度,用户收益主要包括两个方面:消费本身的价值(比如话费充值)、消费衍生的价值(如基于活动订购业务或购买终端)。按照费用的统计渠道,用户成本主要包括三类:基于营销活动的成本、基于用户发展的成本、基于费用结算的成本。
(3)使用一定的规则,统计用户在生命周期内的价值。可以采用5G+AICDE的技术对用户价值进行全面分析与统计,比如使用AI技术分析用户的行为特征,使用大数据技术对用户进行画像分析,使用云计算分析用户的业务需求等。
(4)基于用户价值和分析体系,获取用户的利润贡献率。所谓的利润贡献率是指用户价值在运营商整个利润池里的比例,计算公式为:利润贡献率=用户价值总和/运营商业务利润总和×100%[1]。
(5)细化用户价值的成分,开展聚类分析。此处用户价值的组成成分包括诸多指标,比如话费充值的本金,运营商对用户的馈赠费、酬金,服务提供商的业务结算,业务在不同运营商之间的网间结算等。
(6)引入贡献利润率指标,按照贡献利润率对用户进行排序,找出贡献利润率低的客户群体,剔除该群体。贡献利润率是基于投入与产出的关系来确定的,比如,可以把产出/成本低于1/3的群体,定为贡献利润率低的群体。当然,阈值的设定,可根据实际情况、区域特征、业务性质等方面进行综合评价。
(7)基于用户行为,对低价值客户实施二次聚类分析。其中,用户行为的范围较为广泛,内容包括业务使用行为、缴费行为、推广行为等。
(8)设定一系列具有风险的场景,基于场景的应用,实施用户群体的归类或分类。相应的场景包括使用超高酬金进行套利、倒卖营销资源获利等。
2.2 异常行为检测
步骤1:数据预处理。采用大数据的kafka stream流处理技术按照时间窗口实时提取4A权限日志、服务日志等信息并进行时序处理、数据清洗,剔除白名单用户[2]。
步骤2:特征提取。具体内容包括:(1)用户特征刻画。建立用户ID编码、用户的城市、不同类型业务操作的量、 10分钟窗口操作量、不同地市业务量等。(2)业务特征。建立业务ID编码、业务描述文本编码、业务类型分类等特征。(3)Categorical feature-Embedding。城市、服務器IP、用户IP、DOW等都是类别特征。对这些特征的常规处理是one-hot编码[3],会造成特征维度高且稀疏。Embedding将类别特征随机映射为连续的高密度低维向量,可以提高模型的效率。(4)特征值转换。由于不同操作员账号、不同业务操作类型、不同时间段对应的业务操作数据量差异较大,在使用深度学习算法预测前需要先对特征数据进行归一化处理,在项目预研中尝试多种方法,其中采用均值和标准差的归一化方式效果最佳(见表1)。 步骤3:智能分析。采取“无监督”+“有监督”组合模式[4],无监督模型可有效预测未知异常,有监督模型根据标注的数据预测相似异常。
针对千万级的样本数据,深度学习模型的表现优于机器学习算法(回归等)。经统计每天ESB服务总线产生约亿条级别日志,采用前馈神经网络AutoEncoder算法训练无监督模型,针对千万级样本数据中少量异常样本数据,模型能够最大完好拟合大部分正常样本,而少量异常样本拟合较差,因此将损失值较大的样本作为异常数据输出。
针对无监督模型,尝试选取MLP、AutoEncoder、孤立森林等多种深度学习或机器学习算法,经测验其中孤立森林算法结果的召回率60%,AutoEncoder结果召回率100%,无监督模型中深度学习AutoEncoder算法效果最优。
在有监督模型中,选取了逻辑回归、决策树、支持向量机、随机森林多种机器学习算法,经测试随机森林和决策树算法较优,采用随机森林作为有监督算法模型。
3 结语
就生产企业而言,对供应商的日常管理与风险监控,是一个长期的过程。管理的手段创新是企业向数字化、智能化、科学化转型的必要经历。本文的研究主旨在于将管理问题技术化,采用IT化手段来实现,用新型技术来识别管理风险。后期,将主要从两个方面开展工作。一方面,对现有的识别方案进行優化与完善,让当前方案具有更大的应用场景和适用范围,力争将现有的方案固化为相应的模型或系统。另一方面,选取一定的企业进行试点应用,用现实案例来检查方案的质量,让更多的企业从中受益,实现方案的价值最大化。
作者简介:韦媚(1986—),女,广西南宁人,工程师,学士;研究方向:IT应用,项目管理,大数据应用,风险稽核等。
[参考文献]
[1]张小明.风险防控思维下的应急治理研究[J].中国应急管理,2021(3):48-51.
[2]朱有祥,张彤.推行“精准化”风险管控模式—山东省青岛市李沧区指导小微企业建立双重预防机制记事[J].中国应急管理,2021(3):88-89.
[3]赵研.基于自适应巡视算法的工业物联网异常行为检测[J].移动通信,2021(3):100-103.
[4]周启清,陈香蹀.供应链金融反保理业务风险评价与管控[J].金融经济,2021(3):67-73.
(编辑 姚 鑫)
Research on the abnormal behavior identification of agent risk management
and control under the background of Internet
Wei Mei, Qin Yanmei, Wei Zhiyu
(China Mobile Communication Group Guangxi Co., Ltd., Nanning 450000, China)
Abstract:In the era of 5G + B (Beidou) + AICDE (Artificial Intelligence, the Internet of Things, Cloud Computing, Big Data, Edge Computing), the management work of the enterprises to the agents and suppliers is very important and it is related to a series of risk prevention and control. How to effectively identify the abnormal behavior of agents has always been the focus of agent risk management and control. Therefore, this paper conducts research on the abnormal behavior identification of agent risk management and control, attaches great importance to risk management and control, makes management problems technical, provides scheme guidance for technical personnel, provides mode; support for management personnel and provides decision support for leaders.
Key words:agent; risk control; abnormal behavior; behavior recognition; risk management