Hadoop架构下近红外光谱大数据安全机制

来源 :湖南师范大学 | 被引量 : 0次 | 上传用户:huangxiaojie33
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近红外光谱分析技术具有无损、检测速度快等特点,广泛地应用在过程分析领域。该技术检测产生的近红外光谱数据量大,但单个近红外光谱文件小(小于1MB)、信息量低,对海量近红外光谱大数据的分析挖掘,最好的方法是借助云计算。在现有的云计算中,Hadoop云计算是比较流行的大数据处理平台之一。用Hadoop处理近红外光谱大数据,需考虑Hadoop架构安全。Hadoop默认使用64MB数据分块存储云端数据,近红外光谱数据的单文件远小于Hadoop数据分块。因此,在Hadoop云端的近红外光谱数据分块上,存在有多个完整的近红外光谱单文件,给云端近红外光谱数据安全造成威胁。针对上述近红外光谱数据在Hadoop云端存在的安全问题,论文对Hadoop架构和近红外光谱大数据特点进行了深入研究,提出了Hadoop架构下近红外光谱大数据安全机制。针对海量的近红外光谱数据,建立近红外光谱数据的关键波段集数学模型,区分和简化海量近红外光谱数据中关键波段区数据和其他数据。设计二分关键波段集检测算法,高效检测出海量近红外光谱单文件中的关键波段集。算法可以人工设定程序对光谱文件中关键波段集的检测范围及步长,并对检测到的关键波段集进行加密保护,在光谱数据文件中形成加密和非加密数据并存状态。关键波段集检测加密完后,采用兼容Hadoop分块操作的LZO字典压缩算法对近红外光谱数据进行压缩合并,并上传到Hadoop集群保存。Hadoop架构下的近红外光谱大数据安全机制,在不降低Hadoop集群性能的前提下,对客户端海量近红外光谱数据进行了适合Hadoop文件管理的安全设计,保证了上传到Hadoop云端的近红外光谱大数据安全。在烟叶原料近红外光谱信息共享系统运行中表明,论文的安全机制设计是可行的。
其他文献
红树林是热带、亚热带潮间海岸带重要的生态系统类型,为了解和掌握红树林湿地碳储量及其价值,本研究对海南东寨港红树林湿地碳储量进行了研究,并对其固碳价值进行估算。首先
超宽带(UWB)通信系统与传统无线通信系统相比,具有容量大、速率高、安全性高、成本少、功耗低等等优点,因此UWB技术应用地越来越广泛。UWB无线信道是超宽带通信系统的一个重
以29个薄壳山核桃无性系为研究对象,对其生育酚、鞣花酸、色氨酸等进行了测定和分析,揭示了不同薄壳山核桃无性系中功能性成分含量的差异,为薄壳山核桃无性系的综合评价及利
随着广播形式的多样化,卫星广播技术进入了实际应用阶段。卫星广播具有覆盖面积大,受自然环境影响小以及节目容量大的特点。但跨区域的广播站点要实现广播同步一直是卫星广播
本文以4种有机蔬菜为研究对象,以系统动力学(SD)理论为基础,以vensimPLE软件为技术平台,建立有机蔬菜生长及碳收支估算模型。选取生菜(叶菜类)、黄瓜(瓜类)、番茄(茄果类)及
在互联网领域,数据集是随着时间的推移不断产生的,所以在完整的数据集上进行机器学习是个几乎不可能的事情,这就需要学习器能够不断地进行学习,而传统的机器学习方法已经无法
本文通过对荣华二采区10
期刊
目的:建立子宫巨噬细胞的分离鉴定方法;在组织和细胞水平上,研究小鼠孕早期子宫巨噬细胞的分布、数量和内部磷酸酶表达量的变化,探讨巨噬细胞在孕早期的变化和功能。 方法:取性
背景和目的 结核分枝杆菌(M.tuberculosis,Mtb)是已经发现的最为重要的传染性病原体之一。全世界1/3人口约20亿人感染了结核杆菌。结核病在全球范围内的死灰复燃及多种耐药菌