【摘 要】
：
随着软硬件技术的发展,大数据相关技术的爆炸式增长,对大数据系统的分析技术也在不断更新,交易处理绩效委员会TPC于2016年为大数据分析系统提出了新的基准TPCx-BB,模拟了零售商场景线上与线下业务流程,并提供了与之对应的测试工具包,用于测试CDH、HDP等商业开源版大数据系统的离线分析处理能力,衡量不同大数据平台的性价比等指标,为用户选择合适的大数据产品提供了依据,得到了业界的认可,但工具包本身
论文部分内容阅读
随着软硬件技术的发展,大数据相关技术的爆炸式增长,对大数据系统的分析技术也在不断更新,交易处理绩效委员会TPC于2016年为大数据分析系统提出了新的基准TPCx-BB,模拟了零售商场景线上与线下业务流程,并提供了与之对应的测试工具包,用于测试CDH、HDP等商业开源版大数据系统的离线分析处理能力,衡量不同大数据平台的性价比等指标,为用户选择合适的大数据产品提供了依据,得到了业界的认可,但工具包本身仍存在一定的局限性。通过对基准特点的分析,从TPCx-BB的业务模型、数据模型、测例的类别、测试的性能指标、工具包套件的构造及使用方法等多个角度深入了解基准的相关信息,突出现有的工具包套件在配置信息冗余、测例扩展性差等方面的不足,在满足基准要求的基础上完成基于TPCx-BB的性能测试工具的设计与实现。本测试工具采用C/S的模式使用java编程语言进行开发,面向linux操作系统,主要分为测试连接模块、自定义配置模块、监控模块、执行测试模块以及测试报告生成模块。测试连接模块用来测试当前的测试端与被测系统的连通性,保障测试能够正确执行;自定义配置模块是测例通用化的关键,通过对原始测试测例的处理,将测例的通用部分剥离并存储到数据库中,测例余下的可变部分由用户修改,并与通用部分结合为特定系统生成符合特性的测例;监控模块用来在测试过程中实施对测试端和被测系统的状态监控,反映出测试的瓶颈;执行测试模块读取设定的工作负载生成相应的测试启动脚本并开启测试;测试报告生成模块从测试日志中收集有效信息,计算性能指标的结果,结合监控信息生成完整的测试报告。最后对所实现的性能测试工具的功能进行验证和分析,设计测试用例对核心模块的功能测试,并与官方提供的工具包套件测试结果比对,验证测试工具功能的正确性。然后用虚拟机搭建CDH、HDP大数据系统,设置不同的引擎参数,对不同大数据系统进行对比测试,验证测试工具的实用性,能够对不同的大数据系统进行比较全面的测试。
其他文献
随着信息技术的快速发展,隐私保护算法在很多领域已经得到了广泛的应用。隐私保护算法的效果需要依靠评估指标来评价,但已有的隐私保护数据发布平台缺少对算法评估的关注。因此,在现有平台中扩展隐私保护算法评估支持系统,能为专业用户的对比实验需求提供方便直接的帮助,给出不同算法在对比指标上的评估结果,节省用户的编码时间,提高算法对比评估的效率。在分析隐私保护算法评估支持系统整体需求的基础上,针对这些需求设计了
随着移动互联网技术和个性化服务的发展,个人隐私泄露问题正逐渐成为大众关注的焦点。通过集成众多隐私保护算法,隐私数据发布平台能够在尽可能保证数据可用性的前提下,提高数据的安全性,让用户放心发布数据。而现有平台在算法及其依赖的管理、算法执行和任务调度方面略有不足,在一定程度上影响了核心功能的使用,因此有必要采用新的技术方案对平台中的相关部分进行重新设计与实现。提出了使用容器封装和隔离执行算法的方案,解
随着企业需要存储的数据量不断增长,同时为了满足不同需求,各种新型数据库应运而生:如针对数据结构灵活的非关系型数据库（Not Only SQL,No SQL）等。这就要求测试工具能针对多种数据库性能测试。在数据库性能测试工具中,负载发生器模块的实现良好与否,决定了测试工具能否生成用户指定的负载。然而,目前已有的负载发生器实现还无法完全满足实际需求:如部分负载发生器的设计只针对于某一类型的数据库等。因
巨细胞病毒（cytomegalovirus, CMV）感染在免疫功能严重缺陷的艾滋病（acquired immunodeficiency syndrome, AIDS）患者中相当普遍,可累及全身多个器官系统如眼部、肺部、消化系统以及神经系统等,表现为不同类型的巨细胞病毒病（cytomegalovirus disease, CMVD）,播散性感染亦相当常见,具有高致残性和高致死性的特点.与免疫正常人
近年来,智能手机的普及使得基于位置的服务（Location-Based Services,LBS）得到极其广泛的应用。但是,由于可能存在不可信的位置服务商对用户数据的非法利用,用户如果在使用位置服务时连续发布不经保护的位置数据流,会对用户的社交关系隐私造成严重的威胁:利用两个用户发布的共同出行轨迹数据,容易分析二者之间是否存在社交关系。针对上述隐私泄露问题,首先,对于单个位置的扰动算法,在满足本地
随着计算机网络的发展,应用信息是否安全与国家安全,个人隐私息息相关,操作系统为应用软件提供了运行环境,它的安全特性至关重要。检测安全特性是实现安全操作系统的重要环节,目前已有的检测工具检测点都是零碎的,而且绝大多数都是测试员手动执行,效率较低且容易出错。所以针对操作系统应用支持安全特性设计一个测试工具是很有必要的。针对现有国家安全标准中对应用支持的要求将测试项分为三大类:独立运行环境的检测,应用安
图像拼接技术被广泛应用于地质勘测、遥感图像处理、计算机视觉、医学图像分析、虚拟现实等领域,随着无人机应用的发展,无人机航拍图像拼接技术成为研究热点。本文对无人机航拍视频图像拼接方法进行了深入研究,主要内容如下:（1）为获得高质量的视频关键帧,设计了无人机航拍关键帧提取算法。该方法首先通过KLT（Kanade-Lucas-Tomasi）算法以及无人机航拍的航带特征将原始无人机航拍视频分割成子视频;接
计算机应用技术飞速发展,各个行业智能化科技化进程也在不断进行,多变的数据使用场景和日益增长的数据处理量让企业对数据库的要求也在增加。其中对数据库的在线事务处理（Online-Transaction-Process,OLTP）性能要求也是选择数据库的关键因素之一,因此,设计与实现一个能让用户根据他的业务需求来评价数据库系统的性能的测试工具就显得非常重要。TPC作为事务处理领域权威机构,其发布的TPC
近年来,随着抖音等移动应用的广泛使用,交互式推荐系统受到了广泛关注。传统的推荐系统通常关注于预测用户在特定时间点的兴趣,通常是下一个时刻,而在交互式推荐中,系统不仅需要关注用户当前兴趣,还需捕捉用户由于当前推荐产生的兴趣变化,进行长远规划,增加用户使用时间,获得收益。因此传统推荐方法无法适用于交互式推荐场景,而强化学习依靠智能体与环境不断进行交互自主学习,符合交互式推荐形式。但强化学习应用于推荐系
互联网技术的快速发展产生了海量数据,而数据库管理系统作为管理、储存数据的核心,其安全性备受关注。客体重用指在系统运行过程中,内存、磁盘等客体资源在被主体A释放并再分配给主体B时,主体A残留在客体中的数据可能被主体B获取,从而造成主体A隐私数据的泄漏。现有数据库客体重用测试工具只能对运行于Windows的数据库进行磁盘客体重用测试,因此研究更加全面的数据库客体重用测试工具具有重大意义。针对信息安全标