面向线性模型的矩阵压缩算法研究及其应用

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:taitaixiangle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
爆炸式的数据增长对于信息化时代来说是一柄双刃剑,大规模数据矩阵带来大量信息的同时,也增加了计算机的存储压力和带宽压力,给数据存储以及机器学习模型的优化效率带来了很大的挑战。因而,对大规模数据矩阵进行有效压缩,并设计基于压缩形式的压缩矩阵操作是解决这项挑战的关键技术。研究发现,用于机器学习的大规模数据矩阵存在较大的压缩潜力,但通用的压缩软件以及支持SpMV(Sparse Matrix Vector Multiplication)的稀疏矩阵压缩算法均不能很好地解决这一问题。因此,有必要研究支持高效随机访问矩阵行与列的实数矩阵压缩算法及压缩矩阵操作,并将其应用于线性模型。本文提出了一种支持高效随机访问矩阵行与列的无损实数矩阵压缩算法COMC(Column-oriented Matrix Compression),该算法采用基于列的压缩框架,对矩阵每列进行两层结构的压缩。第一层使用字典编码,将列中高频出现的元素映射成较小的整数,从而实现逻辑层的压缩,将逻辑层的输出矩阵称为字典码矩阵;第二层使用整数编码,对字典码矩阵进行比特层的编码,比特层输出压缩矩阵与辅助信息。COMC算法充分利用了用于机器学习的大规模数据矩阵的普遍特征,从轻量级压缩的角度出发,有效地平衡了压缩率与解压缩效率。本文提出了随机访问矩阵行AccessR(k)与列AccessC(k)算法,支持COMC压缩矩阵上高效的压缩矩阵操作,并在访问算法中应用了SIMD(Single Instruction Multiple Data)指令,进一步实现了访问算法的加速。在简单线性回归模型和逻辑回归模型等线性模型的优化过程中,计算量主要集中于矩阵操作a?X,v~T?X和X?v等。由此,本文实现了COMC压缩矩阵上高效的压缩矩阵操作a?C,v~T?C和C?v等,并进一步实现了以压缩矩阵操作为主要计算量的压缩简单线性回归模型和压缩逻辑回归模型的优化。通过随机访问矩阵行与列,在不完全解码整个矩阵的情况下,完成了COMC压缩矩阵上的压缩矩阵操作a?C,v~T?C和C?v等。压缩简单线性回归模型和压缩逻辑回归模型以COMC压缩矩阵C为输入样本,通过随机访问矩阵行与列,实现压缩矩阵操作,进一步实现模型系数的优化过程。本文对比了COMC算法,通用压缩软件以及支持SpMV的稀疏矩阵压缩算法,在压缩率,解压缩效率,压缩矩阵操作效率以及压缩线性模型优化效率上,对上述算法性能进行了评价与分析。实验结果表明,综合考量压缩率与解压缩效率,COMC算法表现较好,且由于支持高效随机访问矩阵行与列,而在压缩矩阵操作中更具备灵活性。进一步从压缩矩阵操作效率和压缩线性模型优化效率两方面分析,COMC算法能够较好的平衡压缩率与压缩矩阵操作效率和压缩线性模型优化效率,因此,COMC算法可作为压缩线性模型的一个较好的压缩方案。
其他文献
随着近年来我国城市人口的不断上升,高层建筑开始不断兴建,地下室对于整个高层建筑的重要性也越来越得到重视,因此对于高层建筑的地下室的防水性能也提出了更高的要求。地下
中小学生的“课后班”是指中小学生在接受学校教育之外,以提高课业成绩、发展兴趣特长等为目的,以私人缴费的方式购买的正规学校教学以外的课程资源和参加的多种形式的补充性
<正>或许是即将离任的原因,作为英国天然气和电力市场监管机构Ofgem首席执行官的阿利斯泰尔·布坎南近来变得十分敢言了。日前,他警告称,英国的能源供应系统非常脆弱,需及时
会议
本文对钨铜合金的历史及其发展做了一个综述 ,旨在为今后钨铜复合材料的研究提供方向和途径
miRNAs是一类长度约为18~24 nt,在进化上高度保守的内源性的单链小分子,它是骨骼肌发育过程中的关键调控因子。但是到目前为止,每个miRNA在骨骼肌生长发育过程中发挥的作用我
近几年来,关于航空发动机气路系统故障诊断等方面的研究已成为一个热门话题。无论是从发动机运行还是飞机任务管理的角度来看,发动机的异常运行都是不可取的。而发动机气路系
地下综合管廊作为城市公共基础设施的重要组成部分,能够解决传统管道建设模式的诸多弊端。我国在建设地下综合管廊的过程中引入PPP模式不仅可以缓解地方政府的财政压力,也可以通过引入专业的管理团队,使地下综合管廊能够高质量、高效率的运营。但我国政府部门在参与地下综合管廊PPP项目过程中,相关法规政策尚未完善,项目相关经验相对较少,且项目周期长、投资大,政府面临的风险因素较为复杂,风险管控机制尚不健全,风险
杭州是中国漆艺史上一个产生过无数漆器瑰宝的地方,从跨湖桥原始时代遗址出土的漆弓到两宋时代逐渐转向精致素雅、重视材质肌理的审美情趣嬗变,为元明时代形成至今最为经典的
目的探讨中药熏洗配合红外线照射对痔术后患者创面的效果。方法将94例环状混合痔患者随机分为两组各47例,对照组予常规护理,研究组在对照组基础上进行中药熏洗配合红外线照射
环境及要素、制度、文化,三重动力的不同组合,最终决定了一个国家或社会短期或长期发展的速度和质量。另外,虽然一个国家或社会的发展最终取决于环究及要素、制度、文体三重