【摘 要】
：
提出了一种分布式JVM（Java Virtual Machine）网络爬虫的域名解析缓存方法DQ Cache（Distributed Quick Cache）,实现了高效的DNS缓存机制。在深入分析操作系统和JVM的域名解析工作
【基金项目】
：
国家自然科学基金资助项目（61572079）,北京市教育委员会科技计划一般项目（KM201711232018）
论文部分内容阅读
提出了一种分布式JVM（Java Virtual Machine）网络爬虫的域名解析缓存方法DQ Cache（Distributed Quick Cache）,实现了高效的DNS缓存机制。在深入分析操作系统和JVM的域名解析工作机制基础上,结合分布式爬虫的并行化与任务多节点均匀化等特点,采用正向和负向双缓存方式,为2个缓存分别设计采用了特定的数据结构和过期策略。实验表明,该方法可以有效提升域名解析性能,同时降低各爬虫节点的内存占用和域名解析请求对网络带宽的影响,提升了分布式爬虫的整体性能。
其他文献
将神经网络算法应用于舰船目标识别,提出了一种基于神经网络的特征增强算法——AugNet。该算法在网络学习过程中自动分配通道特征权重,提高模型的特征抽取能力。使用AugNet改进GoogleNet模型,得到改进的神经网络算法。实验结果表明,改进算法对军舰、民船、非船三种舰船目标的识别准确率达到99. 0%,对集装箱船、潜艇、货船等43种舰船目标的识别准确率达到90. 21%,大幅提高舰船目标识别种类
为了研究屏蔽腔体对减少电磁干扰的作用,以天线控制系统为研究对象,应用传输线理论,为天线控制系统内部各单元建立了统一的屏蔽腔体模型,求解了屏蔽效能。通过实验数据和CST
机床的刚度性能是影响机床加工精度的重要因素,为对其进行测量与研究,基于Lab VIEW设计了一套静刚度测量系统。采用测量系统对多台机床进行了实验,实验中为了能够更好地模拟实际加工的情况,采用连续增大的载荷对机床主轴进行加载,并间隔一秒对机床主轴发生的位移进行采集,将数据送入上位机处理得到多台机床的力与位移曲线图。对于测试所得的曲线图并不能够非常直观地反应出不同机床之间的刚度性能差别,提出一种无量纲
针对电弧炉电极调节系统具有非线性、时变性、三相耦合等特性,采用无模型自适应控制方法,利用被控对象的I/O数据,不需要系统的数学模型,避免了复杂的建模过程和繁琐的参数整