百度视频泛需求检索数据处理子系统的设计与实现

被引量 : 8次 | 上传用户:yuanchonghuanca
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本人实习期间参与了百度视频泛需求检索系统的相关工作。该系统针对视频垂直搜索引擎,为用户提供视频检索领域的语义搜索服务,即借助更丰富的语义信息(而非仅仅停留在用户输入的文字本身)理解用户搜索的真正意图。本人主要负责泛需求检索数据处理子系统的设计实现工作。该子系统负责泛需求检索相关数据的预处理和数据质量监控工作,同时也提供泛需求检索成功失败情况的统计功能。该子系统主要包括检索数据预处理模块(Alamake)、屏蔽数据预处理模块(Pc_filter)、数据监控和统计模块(Data_monitor)三大模块和Web交互界面。本人具体工作概括如下:(1)完成了该子系统的需求分析和系统设计。通过与泛需求检索模块的开发人员沟通,并结合原有系统的不足确定数据处理子系统的需求。根据需求确定系统设计方案。该系统最终采用倒排索引算法建立索引,并使用Redis+MySQL的方案进行数据存储;系统采用B/S架构使使用者能够通过界面便捷的进行各项操作。(2)完成系统各模块的编码工作。采用HTML、JavaScript等页面开发技术实现Web接口编码。使用PHP语言完成核心模块编码。采用Mysql与Redis结合的方式进行数据存储。(3)完成系统测试。系统开发完成后使用原有系统真实数据进行各项功能测试,确保系统功能符合既定需求;对系统进行性能测试,验证系统能否在可容忍的时间内完成数据处理工作。(4)进行线上追踪。该系统上线后观测该系统的各项功能及性能能否满足实际应用的要求。该系统最终线上运行稳定,效果良好。更丰富的数据词典和索引有效改善了泛需求检索的质量;MySQL与Redis数据库结合的存储方式有效的改善了泛需求检索的处理性能;完善的备份管理和数据监控机制有效保障了数据的质量。该系统整体提升了百度视频泛需求检索的用户体验,达到了设计的目标。
其他文献
为适应社会主义新农村建设的需要,推动农村集体财务管理和监督规范化制度化,农村集体经济组织会计制度建设的任务刻不容缓。本文从2005年1月1日正式执行的《村集体经济组织会计
人脸识别技术作为多学科领域的具有挑战性的难题应用于生活的方方面面,对该问题的深入研究与解决有利于促进相关学科的发展,具有重大的学术研究和实践应用价值。人脸识别算法
试井作为一种判断油气藏特征及确定油气藏地质参数和井的特性参数的重要手段,已成为油气勘探开发工作的一个重要组成部分。常规试井分析存在拟合速度慢和拟合精度低等问题。
废旧印刷线路板的处理与资源化,是电子废弃物三化(减量化、无害化、资源化)研究的难点与热点。微生物湿法冶金技术具有环境友好、设备简单、处理成本低等特点,是实现废旧印刷
铅作为重要的基础工业金属,用途广泛,其冶炼提取工艺及其控制技术的研究始终广受关注。烧结—鼓风炉还原技术和氧气底吹—鼓风炉还原熔炼工艺(SKS法)是铅冶炼的两种主要方式,
目的:通过检测高血压患者微量白蛋白尿(microalbuminuria,MAU),超敏C反应蛋白(high-sensitivity C-reactive protein,hs-CRP)及踝肱指数(Ankle Brachial Index,ABI),探讨MAU与
汾西矿业建安公司租赁站主要是从事提供塔式起重机租赁的企业,其中,公司通过提供优质的建筑施工机械设备,为建筑施工提供装备支持,从而促使建筑施工单位提升施工能力。公司发
随着大学生法治观念与维权意识的不断增强,学生与高校之间的诉讼案件也屡见不鲜。文章密切结合多年来高校学生管理工作的实践经验,主要就高校学生管理中的法律规避问题进行了
土地资源、水资源是人类食物安全最重要的资源,随着人口增加和对食物要求的提高,用于发展农业生产的土地资源、水资源日显短缺,如何拓宽资源利用的空间和提高资源的利用效率,