基于消息队列的分布式图像处理系统的设计与实现

被引量 : 0次 | 上传用户:baiyunmtq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,分布式应用展现出新的前景;同时随着图片数量的剧增,在工程上和科研上出现了对于大批量的图像的分布式处理新的需求。当前,Hadoop系统已经有了广泛的使用,也出现了基于Hadoop的分布式图像处理方案。大批量图像处理这种计算密集型的应用也给分布式系统的设计带来了一定的挑战,Hadoop在这种应用中有其自身的不足之处,本文新设计了一个系统对此做了相应地改进。而传统的分布式图像处理系统,多数基于远程过程调用和NFS实现,在系统通信和存储上存在先天的不足,本文不再做对比。本文设计了一个基于消息队列的分布式图像处理系统,系统各模块通过精心设计的消息队列的通信,实现了更加精简和低耦合的计算框架。对于大批量图像处理,相对基于Hadoop的实现,本系统计算框架减少了Map和Reduce任务之间的中间结果处理和网络传输;基于消息队列的计算框架设计,减少了系统各模块之间的耦合性,使得功能和任务扩展更加容易。另外,本系统实现了自适应的任务分配机制,能根据各主机先前任务的完成情况实时调整任务的分配,能及时有效调用所有工作主机的计算能力。本系统使用适用于小文件存储的分布式文件系统FastDFS,使得任务的分解粒度精确到单个图像文件,使任务更容易调度和恢复;另外,分配任务的时候优先考虑工作主机本机上存储的文件,能利用文件的本地优势,减少网络传输。此外,本系统通过C/C++语言实现,提供了C/C++编程接口来支持本地语言的图像处理库(如OpenCV、ImageMagick等),在编程的方便性和程序的执行效率上都要高于基于Hadoop的实现。最后,我们做了相关的实验,通过和一个基于Hadoop的实现做对比,验证了本系统在处理大批量图像文件中的高效性。
其他文献
公众人物的隐私信息通常是众人目光的聚焦之处,人们基于公众利益的需求或者合理的兴趣,对于公众人物的隐私或者寻根问底,或者津津乐道,乐此不疲。而随着隐私意识的觉醒,作为公众视
原油中有机氯主要以二氯乙烷、三氯甲烷、四氯化碳、环氧氯丙烷以及氯代芳香烃等形态存在,在原油加工过程中,有机氯经300℃高温加热分解生成HCl,可造成设备腐蚀、管道堵塞和催化
目的:通过对27例原发性肝癌及58例转移性肝癌的肿瘤标志物水平CEA(癌胚抗原)、AFP(甲胎蛋白)、CA199(糖类抗原CA199)的回顾性分析,探讨这三种肿瘤标志物在肝癌辅助诊断中的应
目的胆汁反流性胃炎(Bile Reflux Gastritis,BRG)是消化系统常见病之一,目前仍多采用内镜检查诊目的探讨内镜下粘膜切除术(Endoscopic Mucosal Resection,EMR)联合氩离子凝固
目的近年来,日本已有多家报道采用先端带陶瓷绝缘头的IT电刀(Insulation-tipped Diathermic Knife)行早期胃癌的黏膜下整片切除术(Endoscopic Submucosal Dissection,ESD),取
肇始于罗马法的不当得利制度历经数千年的风雨变迁,生命力不但没有在历史长河的荡涤中削弱,反而变得越发旺盛,大有枯木逢春犹再发之势,普通法系中的返还法就是最好的证明。法律功
直驱永磁风力发电机组由于具备较强的并网运行能力,已大规模应用到风电场中。并网稳定性已经成为直驱永磁风力发电机组安全并网运行的关键因素,引起了广大风力发电研究人员的
矢量图,作为图像的一种表示方法,以其缩放不失真、存储空间小等特性,越来越受到人们的青睐,广泛应用于电影、医疗等重要领域。相关矢量图的编辑和渲染研究层出不穷。本文分析
为了应对“扩招”带来的办学设施不足等问题,我国高校通过银行贷款获取基本建设投入几乎成为一种普遍行为。从2008年起,全国高校相继进入还贷高峰期。但由于财政拨款和学费收
目的:探讨和总结重型再生障碍性贫血(SAA)的护理。方法:通过对我科收治的3例SAA患者的护理及临床效果,对此类患者给予保护性隔离,全面的心理护理和健康教育,合理的饮食指导。