【摘 要】
:
过去几年中我们见证了微博平台的迅猛发展,新浪微博、腾讯微博等已成为新的媒体形式。数量庞大的微博数据和其高度动态的本质,对搜索服务提出了独特的技术要求。特别是,搜索
论文部分内容阅读
过去几年中我们见证了微博平台的迅猛发展,新浪微博、腾讯微博等已成为新的媒体形式。数量庞大的微博数据和其高度动态的本质,对搜索服务提出了独特的技术要求。特别是,搜索服务需要提供实时响应查询的服务,并随着新微博的发布不断地更新搜索结果。传统的技术方法无法适应高更新率提出的挑战,也不能很好地将系统扩展来应对和处理不断产生的大量数据。本文研究了一个分布式、可扩展的是实时微博搜索技术,并实现了一个系统来提供分布式实时索引并构建微博搜索服务。它的底层是基于业界领先分布式流处理技术与平台(如Apache S4和Twitter Storm),这些流处理平台提供了强大的实时处理能力。但是尽管这些流处理平台已经成功地应用在其它生产环境中,在微博实时搜索的任务和需求下,它们仍缺乏一些关键功能,特别是:(1)它们只实现了部分的容错能力,在节点发生故障的情况下,无法达到无损恢复;(2)它们没有一个全局数据存储设施,而这个全局存储对于有效的搜索结果排名却是至关重要的。为解决这些问题,本文中实现的系统扩展现有平台中的两个重要方面。首先,本文提出并实现了一个故障恢复策略,可以保证系统的高可用性及当发生故障时无数据丢失、无状态丢失。其次,系统扩展了一个全局的储存设施,提供了便捷、高效、可靠的数据存储共享数据支持。第三,本文还详细描述了如何使用实现的系统构建分布式、可扩展的微博实时搜索服务。最后,本文通过在公开数据集上的大量的实验证明这个技术研究是实现是合理、有效的。
其他文献
本文对工民建施工中墙体裂缝产生的原因作出了分析,针对其现象对社会造成的不利影响,结合笔者多年的实际工作经验以及相关的理论知识,对墙体裂缝的产生提出了几种常见的防治
政府政策的制定、地区规划的实施都要参考区域经济发展状况。改革开放以来特别是京津冀协同发展战略的实施,河北省的经济发展速度得以提升。本文选取河北省下属的11个地级市
本文针对东北某炼厂冬季极端低温环境下系统管廊蒸汽伴热凝结水管线流动不畅时易结冰的问题,提出对系统管廊采用导热油伴热方案,并对方案进行设计与计算。
为了防止汽车在行驶过程中发生侧翻,使汽车始终处在安全工况下行驶,减少交通事故,设计了一种基于ARM9的智能车载感知和侧翻预警系统,对汽车在途行驶时的侧倾角和侧倾角速度进
目的:应用CBCT观察骨碎补促进下颌骨缺损牵张成骨中新骨形成的效果。方法:选择下颌骨部分缺损进行牵张成骨术病人12例。随机分为2组,实验组常规治疗外术后开始每日口服骨碎补水
以广州市为研究区域,在总结汽车服务业发展历程的基础上,通过实证分析,认为经过20多年的发展,目前广州市汽车服务业的空间布局特征明显,在全市不同地域空间分布不均衡,在各个
目的检测肺癌患者外周血液树突状细胞和淋巴细胞亚群的数量并分析其临床意义。方法流式细胞术检测34例肺癌患者外周血CD123+、CD11c+的树突状细胞(dendritic cell,DC)和淋巴
广东省高等学校经过连年扩张后呈现出新布局特点:首位度较大,有影响的大学数量少,总体布局过度集中在少数城市,高校体系松散低效。这种布局现状造成:老校与新校资源供求不平
<正>钟神自成功推出JA-2/JA-100世纪版旗舰级前后级功放之后,由于价格较为昂贵,所以令到许多发烧友只能心动却不能行动。为了让更多发烧友能分享钟神对音响艺术的心得,钟神于
选取广东省23所华侨农场主要社会经济指标,运用计量方法对全省华侨农场的经济特点进行分类。在此基础上,对各类型农场经济上的等级差异及空间上的分布特征进行实证分析,并从