【摘 要】
:
随着物联网技术的发展,物联网技术在生活和工业生产中的应用也越来越多,其每天产生的数据量也在飞快地增长。物联网数据有异构性、海量性、时效性等特点,这些特点表明其数据
论文部分内容阅读
随着物联网技术的发展,物联网技术在生活和工业生产中的应用也越来越多,其每天产生的数据量也在飞快地增长。物联网数据有异构性、海量性、时效性等特点,这些特点表明其数据形式多以海量的小文件形式为主。Hadoop是目前被业界广泛用于处理大规模数据的一种开源云计算技术,然而,Hadoop云计算技术对海量物联网小文件数据处理存在执行效率不高和资源占用率过高等不足之处,故改进Hadoop云计算技术对海量物联网数小文件数据的处理有着重要的研究意义。本文针对物联网数据的海量小文件形式的特点和Hadoop技术中HDFS存储海量小文件的不足,本文利用Hadoop云计算技术对具有二维坐标属性的海量物联网小文件进行聚类处理,并提出了相关存储优化策略。首先,本文采用能够自动确定簇个数的G均值算法对物联网数据进行聚类分析,用四叉树结构索引簇中的文件。然后,采用基于文件距离紧密程度合并策略将簇中的小文件合并成一个包含多个存储块的大文件,将每个块中的文件索引存储在该块的头部。最后,采用块局部索引预加载策略来提高访问效率和减轻NameNode的访问负载。本文最后对基于MapReduce的G均值算法进行实验,从实验结果可以得出该算法对海量数据聚类分析有明显优势。然后,还进行了基于距离紧密程度的海量小文件合并存储实验,实验结果表明合并存储后可以有效地减少HDFS中元数据的大小。最后,通过局部索引预加载访问实验,得出在用户频繁访问同一个块中小文件时,访问效率可以得到明显的提升。
其他文献
身管的内膛烧蚀磨损是制约火炮寿命,决定火炮战斗作用能力的重要因素,具有研究必要性。本论文以某100mm高膛压滑膛炮为研究对象,结合内弹道理论、传热学等多学科理论和技术,
肠黏膜免疫屏障作为肠屏障中的第一道防线,有效地保护肠黏膜的完整性,使其不受有害病原体的感染。但在肠黏膜缺血、缺氧、肠道细菌移位、肠内营养障碍、细胞凋亡等状态下,肠
高中新课程改革是关注学生发展、全面推进素质教育的一项重要举措,也是教育本身的客观规律的要求。如何在高中物理新课改理念下,最大可能地提高课堂教学的有效性,成为许多学
2009年以来,受到多方面因素的影响,我国税收收入出现了负增长,税收收入形势严峻。在这种情况下,通过税务审计来加强税收征管就显得尤为重要。在对税务审计概念进行界定的基础
网络可以引领学生进入科技化、信息化社会,开阔知识层面;可以促进学生的个性化发展,消除心理障碍,在网络中充分展现个人魅力;网络也为教育资源的交流提供了便捷的通道,使学生
随着我国高速公路建设市场的改革深化,施工企业间的竞争日益激烈,追求经济效益是施工企业经营的最终目标,是企业生存与发展的根本保证。科学地进行工程成本控制分析,用较少的
在我国,C2C电子商务的发展越来越迅速,已经占据了整个网络市场的90%以上的市场份额。C2C电子商务市场的迅速发展使得越来越多买家加入这个平台,为了吸引更多的买家加入这个平
<正>3月28日,随着备受国内外关注的国家"一带一路"建设顶层设计规划的亮相,"中三角"相关省份加紧布局,希望凭借这一新战略的春风,掀起新一轮的发展。"丝绸之路"始于古代中国,
严格的防疫制度是猪场得以生存的保障,有目的、有计划地免疫接种是预防猪群传染病的重要措施之一,制定科学合理的免疫谱与免疫程序是其中最重要的一个环节。免疫谱和免疫程序
当前,在我国通行的大量国际法著作中关于领海和领海宽度的定义都不够准确。文章从领海制度和领海宽度的产生发展,领海和领海宽度的确定以及第三次《联合国海洋法公约》的相关