基于HBase的小文件高效存储方法

来源 :重庆邮电大学学报(自然科学版) | 被引量 : 0次 | 上传用户:lele3383
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于Hadoop平台的相关系统得到了广泛应用。Hadoop分布式文件系统(Hadoop distributed file system,HDFS)通过分布式的工作方式,负责处理海量文件数据。对HDFS而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于HBase(Hadoop database)的海量小文件高效存储方法,利用HBase的存储优势,将小文件直接存储于HBase,从而有效减少元数据节点服务器(NameNode)的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高HDFS环境下小文件的读写效率。
其他文献
针对居住在城市外围的人们在非高峰期出行时,公交系统的运营效率及运营成本与乘客等待公交时间的矛盾问题,本文提出了一种基于网约车思想利用手机APP实时预约公交的系统模式。在新请求出现时实时预约公交调度系统会先根据公交系统服务阈值筛选出符合条件的公交,再利用启发式最短路径算法为距离新请求点由近至远的公交依次进行响应路径规划,并结合响应判断函数计算对应公交的响应效益,然后指派首个效益为正的公交作为新请求的
目的:观察Epley手法治疗后半规管良性位置性眩晕(PC-BPPV)的临床疗效。方法:对诊断为后半规管良性位置性眩晕的患者采用Epley复位法进行治疗,不辅以任何药物及其他治疗手段,观察
利用黄土高原区2013—2015年微观调研数据,在控制市场参与、家庭资产、家庭特征、地理区位的基础上,利用加权最小二乘法验证了社会资本对贫困脆弱性的影响。结果显示,社会资