【摘 要】
:
伴随互联网上开放存取OA(Open Access)期刊的高速增长,OA期刊资源的“孤岛”现状日趋明显,制约了对OA资源的有效利用。解决此问题的一种途径是OA期刊资源的在线集成,即整合互联
论文部分内容阅读
伴随互联网上开放存取OA(Open Access)期刊的高速增长,OA期刊资源的“孤岛”现状日趋明显,制约了对OA资源的有效利用。解决此问题的一种途径是OA期刊资源的在线集成,即整合互联网中分散的OA期刊资源,对用户提供透明、统一的检索服务。其中,如何有效地提取和存储互联网上的OA期刊资源,属于实现OA期刊在线集成的核心问题。本文在综合分析国内外研究现状的基础上,对OA期刊站点中资源的抽取与存储问题进行了深入的研究。首先,介绍了Web抽取的一般知识和方法,以及Hadoop平台中的分布式文件系统和分布式计算框架的架构、原理和使用流程。其次,针对传统爬虫缺乏OA期刊站点及页面结构知识,对OA期刊站点内资源提取的全面性和准确率较差等缺陷,本文提出一种基于模板的OA期刊站点资源抽取方法和两种模板生成方法,并在这些基础上提出了一种面向OA期刊站点的OA资源抽取框架。再次,针对HADOOP不能很好地处理从OA期刊站点抽取的海量小文件的问题,本文提出了一种基于文件合并和多重索引的HDFS海量小文件存储方法。通过合并存储小文件,控制HDFS中的文件数量,减少关键节点内存消耗;通过对小文件不同属性建立索引,提高查询速度。最后,对本文提出的方法进行了实验与分析,并对下一步的研究工作进行了展望。
其他文献
本文研究留学生使用的“话语标记语”(简称DMs)。在我们的日常交际中,常常不知不觉地使用着数量庞大、功能丰富的话语标记语。这类言语成分一方面能够使会话更加顺畅,起到言
口译笔记的简洁性对口译的过程至关重要,为了实现笔记的简洁性,笔记的简化策略千变万化,但目前关于口译笔记简化策略的研究仍缺乏系统的理论指导,其简化原理还不够全面。笔记
《聊斋志异》中有大量涉及疾病、生死、医药的作品,狐医是其中最重要的医者。在这类故事中,主人公的起病既有生理的易感性,更有心理的因素。疾病的发生、发展、转归、预后等
【正】 洪秀全作为太平天国农民起义领袖,在中国近代史上占有重要的一席。他领导的农民武装斗争,推动了历史前进,其功绩是不可磨灭的。他之所以能成为叱咤风云的人物,主要是
目的研究2009-2015年深圳市不同来源样本中金黄色葡萄球菌(Staphylococcus aureus,SA)携带毒力、耐药基因、耐药表型情况和分子型别研究。方法 2009-2015年期间,86株SA分离自
在非公有经济进入教育领域问题上,我国长期存在观念冲突,相关立法矛盾且滞后,混合所有制高等职业院校的设立与活动因此面临'法律漏洞'。尽管如此,基于法律适用的一般
该文考虑生命活动与物质交换和能量流动的关系,从热力学出发,引入一维能量模型。在一维能量模型的基础上,将水稻对外界能量的摄取能力与水稻生长季中的气温变化规律联系起来,建立
煤炭销售价格的持续疲软,必将传导到整个行业链条,行业生产和销售的下行趋势开始显现。部分中小煤炭企业将面临市场、资金等方面更大的压力。立足煤炭销售中的问题,改善煤炭
本论文通过理论分析和个案分析相结合的方法,探讨了澳大利亚土著艺术进入博物馆的过程,对澳大利亚博物馆中与土著艺术相关的工作进行了考察和探究。论文首先回顾土著人在澳洲
多相多孔纤维材料不仅由于其具有御寒保温、透气散热的作用在服装领域中得到广泛应用,而且随着各类高性能纤维及其产品的出现,其应用范围已拓展到各类工程应用领域。在各类高