社会网络分析工具中的分布式超链接检索算法

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:zhym821211
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,社交网站得到了越来越多的关注,一大批社交网站如Renren、Facebook等快速崛起,这些互联网社交网站拥有庞大且日益增长的用户社群,围绕用户积累了大量的社会性数据。对数据进行深入分析,并做出正确决策,已经成为提升企业核心竞争力的关键。社会网络分析(SNA, Social Network Analysis)作为社会学中一种非常受人关注的方法,同传统的围绕能动者属性进行的统计性社会分析不同,社会网络分析认为能动者之间的关系和联系要比能动者的属性更为重要,这种视角使得它在数据挖掘和商业智能领域得到了广泛的应用。然而当代的社交网络都拥有庞大的用户数据集,如何处理大规模的用户数据成为传统方法面临的一大挑战。云计算是一种全新的IT服务模式,基于动态灵活、高度可扩展、虚拟化的大规模计算资源池,通过整合、管理调配资源,向大量用户透明地提供按需、弹性、高效用的多租户服务。云计算凭借其超大规模存储能力、超大规模分布式并行计算能力、较高的可靠性和可用性等特点赢得了科学界和工业界广泛关注并在其大力推动下,取得了巨大的发展。互联网规模的快速扩大导致了用户数据规模迅速增加,从而给社会网络分析算法和工具带来了新的要求和挑战。为了处理社会网络中的海量数据,本文提出了X-RIME:一种将强大的云计算平台Hadoop和社会网络分析法相结合的大规模社会网络分析工具,能够对大规模的数据集进行社会网络分析,具有良好的扩展性和通用性。X-RIME是一个开源的社会网络分析工具,核心是基于HDFS (Hadoop Distributed File System, Hadoop分布式文件系统)和MapReduce编程模型的,因此它具备了处理海量数据的能力,它在Map/Reduce的框架上对十几种社会网络分析算法进行了并行化与分布式化,从而实现了对互联网级大规模社会网络/复杂网络的分析。本文主要介绍了社会网络分析、云计算以及分布式处理相关技术的背景;接下来主要描述了X-RIME的整体架构、数据模型和算法模型、算法库,并重点介绍HITS (Hypertext Induced Topic Search)算法的设计与实现;最后介绍X-RIME在实际应用中的意义并举例说明。
其他文献
心电图(ECG, Electrocardiography)是医生分析心脏基本功能及其病理的重要依据,因此,对心电信号进行分析、识别、分类有着重要的意义。本文首先对现阶段心电的研究现状及常用
随着3G网络的大范围部署,个性化增值服务的需求越来越多,流媒体是其中重要的内容。但目前IMS系统中流媒体应用服务器设计的相关协议和标准并不成熟,相关应用也尚不完善,所以研究I
语义Web服务是传统的Web服务在最新的语义Web技术下的延伸,能够使网络环境下异构Web服务的组合过程呈现运行时的动态性、自动化和智能化等特征,具有非常重要和广泛的应用前景
测试用例的共享复用是提高软件测试效率和质量的有效方法,逐渐成为软件测试领域研究的热点。本文在对国内外软件测试领域研究现状的分析基础上,发现测试复用领域的研究还存在
智能电网是电力工业的一场巨大变革,将引起电力工业在各个领域的革新。智能调度是建设统一坚强智能电网的关键内容和智能输电网的神经中枢。基于SOA的电网调度支撑平台是智能
来自中国互联网信息中心的数据称,互联网数字分配机构地址池中的 IPv4地址已经分配完毕。可见当今互联网的发展已经达到鼎盛时期。而现在的中国的互联网更是爆炸式发展,中国
SIP因简单、易用等优点成为下一代网络的核心信令控制协议,因此基于SIP的服务和产品大量涌现。由于SIP所处的开放、复杂的网络环境和协议自身缺乏安全机制,导致SIP服务和产品面
随着新型遥感数据应用的日益广泛和深入,快速而准确的提取信息已成为制约遥感应用的瓶颈,对遥感图像进行分割已成为解决这个问题的重要手段之一。基于图论的图像分割方法能够
随着移动互联网技术的发展和移动终端的不断普及,文字识别技术蓬勃发展且日趋成熟。手写输入作为移动平台上的一种高效文字录入方式,被越来越多的使用者所接受。近三十年来,
近年来通信技术、存储技术及处理器技术发展迅速,通信方式已发展成为视频音频通信方式,人们对图像质量的要求也日益升高。H.264视频编解码标准是新一代视频压缩编码国际标准,