中文互联网视频搜索引擎系统策略研究

被引量 : 8次 | 上传用户:shuwenglei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网是人类迄今为止发明的最大的信息知识宝库,特别是随着Web2.0时代的到来,互联网的信息贡献者普及到全体上网人群。搜索引擎的出现使得这些海量的信息的价值被真正发掘出来,让所有信息都拥有平等的被发现、获取和应用的机会。互联网上的信息种类由最初的文字、图片越来越向以音频、视频为主的多媒体方向拓展,对视频信息的检索需求也应运而生。继传统搜索引擎技术之后,如何实现高效的、适应大规模且快速增长和更新的视频内容的搜索成为新的研究热点。本论文即是作者于攻读博士学位期间从事中文互联网视频搜索引擎的研究开发工作的总结,这是国内第一个正式公开发布的视频搜索引擎。本论文的研究工作自2006年开始。以国内最大搜索引擎的互联网数据库为基础,第一次对中文互联网的视频数据分布和用户搜索行为日志进行了大规模测量和研究,对中文互联网用户的视频搜索需求进行了充分细致的分析,在对传统搜索引擎的工作原理进行了具体分析和对视频搜索引擎提出具体评估标准之后,得出了传统搜索引擎不能胜任视频搜索引擎工作目标、有必要构建专用的视频搜索引擎的结论。在此基础上,本文提出了视频搜索引擎的架构模型,并指出实现视频搜索引擎的主要核心技术问题,包括面向视频分享网站的定向抓取和信息抽取,面向网页视频的挖掘和信息抽取,以及面向视频搜索的检索排序,并针对这些核心技术问题提出相应的算法。进一步,基于这些核心算法构建了国内外第一个基于中文互联网的视频搜索引擎系统,面向公众提供在线视频搜索服务,该引擎已成为国内影响力最大的互联网视频搜索引擎。论文主要工作和创新如下:1)提出了面向视频分享网站的定向抓取的方法,主要解决视频分享网站的视频数据抓取和信息提取问题。在抓取的过程中,提出基于对视频分享网站的网站结构和网页结构进行分类的算法,对不同类型的网页可以采取不同的深度抓取策略,并针对包含视频内容的网页类型应用不同的信息抽取包装器,提取出识别规则,保证对视频分享网站的深度抓取和准确挖掘。2)提出了基于传统搜索引擎的全网网页库中的网页视频进行挖掘和信息抽取的算法。对全网spider系统的URL抓取优先级算法进行了详细分析,提出了用DOM树方法进行网页视频进行信息抽取的方法,保证视频数据抽取的准确性,提升全面性。定向抓取与全网挖掘相结合,为视频搜索提供基本的数据源和文本索引信息,并在覆盖率和准确性之间取得平衡。3)基于对用户视频搜索需求的分析,提出了适合中文视频搜索的归并排序的算法,并提出在线评估实验的方法,确定了算法参数取值,检验了算法的有效性。这种算法综合考虑了视频相关性、视频质量和网站质量,兼顾了用户进行检索时的相关性体验,以及检索后观看视频的播放体验。后续的研究工作进一步表明本文提出的排序算法在线评估方法是一种适应大规模网络应用的算法性能评估方法。4)对基于以上核心技术构建的视频搜索引擎的效果进行了综合评估,从覆盖率、时效性、相关性等方面对视频搜索引擎进行了技术评估,并与后期出现的其它同类搜索引擎服务进行了对比,通过对第三方评测数据的分析,验证了本文的视频搜索引擎技术的相对性能,验证本文设计的算法及策略的有效性,并说明了本文所述视频搜索引擎对中国互联网在线视频行业的发展做出的贡献。
其他文献
在国际经济持续高速增长,海外投资和国际化经营逐渐成为主流的背景下,我国大力实施“走出去”战略,鼓励海外投资。随着经济增长,世界电力消费也增长飞速,在我国电力企业实力
无线通信发展的背后始终伴随着一个不断激化的矛盾,即不断增长的业务需求一直挑战着日益匮乏的无线资源承载的极限。为了解决这一矛盾,高资源利用效率的无线通信技术不断涌现
采用氨-肼联合还原法回收废硅电池片上的银,优化了回收的工艺条件。实验得到的最佳回收工艺条件为:室温下采用硝酸2次浸取废硅电池片上的银,其中硝酸质量分数30%,硝酸浸取时间6min
<正>拜读《中国呼吸与危重监护杂志》2012年第2期刊登的"成人慢性气道疾病雾化吸入治疗专家共识"[1](以下简称"专家共识")一文,获益匪浅。但亦感"专家共识"中关于地塞米松雾
民法是私权的宪章。在我国制定民法典的背景下,科学认识私权本质,实现私权体系化、开放化、一体化,事关法典的现代性与进步性。目前,私权、社会权利、基本权利多元并存的权利格局
在全面建设小康社会的进程中,中国失业现象也相当严重,已成为制约社会经济的主要因素。从我国劳动状况的实际出发,以现代统计方法为手段,对新时期我国失业问题的形势、成因及
弗雷德里克森是美国著名的公共行政学者,也是新公共行政学派的代表人物,他对公共行政中的社会公平现象十分重视,提出公共行政正义观,促使"社会公平成为公共行政的精神"。中国
本研究对比分析中国英语专业学生与英语本族语者在议论文中句法复杂性的差异。指标有单位长度(W/T和W/C)、单位密度(C/T和DC/C)、四类句子、从句、紧缩子句和限定与非限定动
党的十八届三中全会提出了全面深化改革的总目标,即"完善和发展中国特色社会主义制度,推进国家治理体系和治理能力现代化"。但是,改革进程中利益格局和发展思路的调整,势必激
目前国内对于行政伦理问题的研究,无论是数量上,还是质量上均取得了丰硕的理论研究成果,对于现实中行政管理伦理化运行也发挥着不可或缺的指导性作用。但是,过往的大部分研究仍多