基于FPGA的GZIP硬件压缩电路设计

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:bppczj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会,在信息呈现出爆炸式增长,云计算的兴起,大数据时代的到来,新的工作负载不断增大,海量数据传输和存储的问题不断引起关注,如何能够高效的传输海量的数据,同时不对处理器造成过于沉重的负荷的问题亟待解决。当处理和传输海量数据的时候,必然会占用大量的内存和带宽,所以在数据传输和存储之前对数据进行有效的压缩将是非常必要的。GZIP作为一种适宜实现的压缩算法。该算法综合了字典模式LZ77算法(Abraham Lempel和Jacob Zib在1977年提出)和统计冗余的Huffman(David A.Huffman提出)两种算法,不但可以达到很高的压缩率,而且该算法已经开源,没有专利保护,适合硬件来实现,通过该算法高效的数据压缩率,能够显著减少存储数据所需要的空间,同时提升数据带宽效率。虽然GZIP压缩算法已经取得很好的压缩率,但是基于软件的GZIP压缩算法速率并不高,而且存在过多占用处理器资源的缺点,对于海量数据进行处理的时,长时间占用大量CPU资源,不能充分的发挥CPU的性能,且软件基于串行执行特性,速率较低,使其难以实现处理数据实时性的要求。本论文提出基于FPGA实现的GZIP压缩电路,利用FPGA低功耗,强大的并行计算能力等优势,大幅提高压缩速率,基于该硬件设计实现了多种用于加速的硬件电路,加速方案包括:修改字典存储器,高效的哈希算法和匹配方法等。针对所设计的电路,完成了在FPGA开发平台上的测试,运行频率125MHz,压缩单通道吞吐率可达400Mbps;同时采用卡尔加里语料库进行测试,相对比软件模型,压缩测试结果表明,本文所设计的电路在支持标准GZIP文件压缩格式的同时,尽管压缩率有所降低,但压缩速率提升10倍左右。本文提出的基于FPGA实现的压缩电路对于通用数据具有较好的数据压缩效果,同时拥有较高的吞吐量,可广泛用于需要进行实时数据压缩的云计算、数据通信、卫星遥感等领域。
其他文献
1955年,新中国为55名在民族解放与独立战争中出生入死立下了不朽功勋的解放军高级指挥员授予了上将军衔,史称“开国上将”。在史无前例的十年浩劫中,这55名开国将军大都受到了冲
【正】中国石油化工集团公司近日宣布,在重庆发现的我国首个大型页岩气田——涪陵页岩气田,将提前进入规模化商业开发:预计2014年底实现产能18亿立方米/年,2015年底将建成产
你还在为自己为何肥胖烦恼吗?近日,上海交大教授赵立平实验室的一项研究给“胖友”们带来福音。他们通过临床实验发现,一种叫作“阴沟肠杆菌”的肠道条件致病菌是造成肥胖的直接
党的十九大以来,如何适应新时代要求创新党建工作,成为摆在国有企业面前的一个重要课题。江汉油田社会保险中心积极探索,在分析企业党建与业务管理“深度融合”不足的基础上,
目的了解淮安市居民人口死因构成及各类疾病的危害程度,为制定疾病预防与控制措施提供依据。方法疾病分类按ICD-10进行分类编码,资料分析运用SPSS13.0软件,对2009年淮安市居
选择3个具有代表性的广西滨海红鳞蒲桃(Syzygium hancei)群落建立样地,对物种组成及数量进行调查,从群落结构、重要值指数等方面分析红鳞蒲桃群落的多样性特征。分析结果表明,
目的探讨甲状腺癌不同术式对甲状旁腺功能的影响。方法回顾性分析2012年12月至2017年10月在内蒙古自治区人民医院行手术治疗的320例甲状腺癌患者的临床资料,依据手术方式不同
为了对比种猪场两种消毒方案的有效性,分别对两栋面积相同的产房依照不同的消毒方案进行消毒,在消毒前和消毒后分别采集样品进行细菌培养计数,计算杀菌率,以此来对比两种消毒
<正>选择稳妥增长的鲁泰加速海外转移。"公司计划在柬埔寨建设的衬衫加工厂产能为300万件。"秦达所描述的是这样的一副画面——一座1200人左右的工厂,装备先进生产设备,男男