基于邮件收发行为的群组发现与关联分析

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:gaiwenru
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,互联网不断发展,人们的生活越来越离不开网络,因此,网络数据量也越来越大。这些网络信息中也蕴含着大量的知识,这些知识也将带来很多经济效益,也可以带来国家安全方面的信息。于此同时,机器学习等数据分析方法以及大数据处理平台技术也一直都在进步,使发现这些知识成为可能。为了全面分析网络用户的行为,从中得到对实际应用有用的知识,通过在关键网关捕获网络数据包信息是一种有效的解决方案,这些信息记录了所有通过该网关的用户网络行为,这些数据将被存储到Pcap文件中。首先,本文使用Hadoop的大数据处理框架,将Pcap文件中的数据利用网络协议的原理,分布式地还原成应用层协议SMTP。其中过程包括网络数据包解析和TCP流的重组等。然后,本文将SMTP协议中的收发行为数据转换成有向图的数据结构,再利用图的拓扑信息,挖掘邮件行为的社交网络特征。为了处理大规模图结构的数据,大数据图计算平台GraphX将被本文用来对图特征进行分析。具体的社交网络特征分析过程中,本文使用标签传播算法和Fast Unfolding算法,对邮件行为的社交网络做群组发现,通过对比这两种算法的结果,我们发现Fast Unfolding算法的结果更好、更稳定。接着,为了了解每个用户在群组中的重要性,文中选用了 PageRank算法进行了相应计算。并结合PageRank得出的重要程度以及每个用户的画像特征,综合分析出整个群组的画像特征。除了邮件收发的社交网络的拓扑特征,用户的行为模式信息也有重要意义。当用户A收到B的邮件,A会在随后的x小时内,发给C和D各一封邮件。这样的信息就是用户A的一个行为模式。为了发现这样的用户行为关联关系,本文设计了一个适用于实际应用场景的关联关系发现算法,其中使用了PrefixSpan算法进行邮件行为分析。实验表明,基于图计算的邮件收发行为的群组发现与关联分析有效的帮助我们,在大数据规模的环境下,分布式的对邮件的行为进行挖掘,获得了有用的知识。
其他文献
Understanding consumer behavior and underlying motivations behind why they behave in a certain way has never been an easy task.This master thesis studies the consumers’ attitude towards the implicatio
学位
E-commerce has grown continuously in recent years;in fact,e-commerce in Germany surged from 1.1 billion Euros in 1999 to 57.8 billion Euros in 2019.As a result,the packaging and shipment volume also i
学位
Brazil and China share mutual economic development for international business and trading.The several years of this successful trading relationship have been strengthened by the creation of the econom
学位
Due to the large size and having many resources,these digital giants have started to be questioned by many scholars and economists.The ongoing debate started by questioning US giants and should the an
学位
甘油糖脂是光合生物光合膜中重要组成成分,单半乳糖甘油二酯(MGDG)、双半乳糖甘油二酯(DGDG)和硫代异鼠李糖甘油二酯(SQDG)是光合膜中三种主要的甘油糖脂,在食品、医疗、日化等方面都有潜在的应用价值。微藻中甘油糖脂资源丰富,且其结构简单,基因工程操作平台成熟,是一种良好的合成甘油糖脂的底盘生物。微藻中甘油糖脂的合成与环境因子密切相关,但是其响应机制却并不清晰,而目前微藻甘油糖脂代谢相关研究也
This research aims to test the relation between Customer’s Perceived Satisfaction,perceived values,Facebook participation,and Facebook promotion to customer loyalty to the brand.Meanwhile,this study e
学位
全球迎来新的时代转型期,各国对第四次工业革命的关注不断增加。在第四次产业革命的主要技术中,以计算机软件为基础的人工智能(AI:Artificial Intelligence)技术在不同技术领域间的融合和多产业间的扩散,将对未来国家和社会产生重大影响。因此,为抢占人工智能技术市场,主要国家公布多项相关法律和政策,积极投资研发,以保护本国与人工智能相关的知识产权。但在现行制度下,人工智能的专利申请及注
Not so long-ago the world was introduced with completely new way of marketing on-line called Influencer Marketing.It is an idea of regular users having a huge influence on the people using online worl
学位
伴随信息技术与网络技术的高速发展,烟草公司对于信息化的需求也日益呈现多样化的趋势。另一方面,企业在生产经营过程中积累了海量用户基本信息数据、交易数据、库存数据等,并逐步开始通过数据库技术对积累的数据进行应用,但是大部分企业只是对现有数据做了一些简单的、局部的和浅层次的查询,并不能在更大深度上对现有的数据进行挖掘分析,无法有效利用已有数据进行相关分析,得到有利于公司发展的结论。联机分析技术(OLAP
President Dilma Rousseff got impeached in 2014 and in 2018,when Brazil elected its first opposition candidate of the Workers Party(Partido dos Trabalhadores)in 14 years,citizens have increasingly reac
学位