卷积神经网络在许多计算机视觉任务上取得巨大的成功。但是由于卷积神经网络需要消耗大量的计算力和存储空间,这限制了将先进的模型部署在消费级电子设备上。因此,加速和压缩卷积神经网络成为当前的研究热点之一。在诸多加速方法中,神经网络量化凭借它能大幅加速和压缩网络引起了研究人员的关注,并在近年来取得了较大的进展,但是显著的性能下降仍是其不可忽视的缺点。因此,研究出一个兼具高加速比与高性能的量化方法具有重大意义。本文提出了一种新颖的位运算加速方法,它使用按位异或、按位与和位1计数三种位运算来加速二值量化的向量和三值量化的向量之间的点积。基于这种新的位运算加速方法,本文首先提出了基于三值输入和二值权重的量化网络(TBN)来提高1比特量化方法的性能。接着提出了基于三值可缩放输入和二值权重的量化网络(STBN),它使用了可缩放三值量化来缓解TBN中存在的梯度不匹配问题。最后提出了基于2比特输入和三值权重的量化网络(T2N),它展示了如何将STBN扩展为多比特版本的方法。速度方面,在CPU上,TBN和STBN理论上能够加速全精度神经网络约40倍,而T2N也有近20倍的理论加速比。然而在GPU上,TBN和STBN实际上能够实现的加速比与1比特的量化方法(如XNOR-Network)相同。压缩效率方面,TBN和STBN能够将全精度的权重压缩近32倍,T2N也有近16倍的压缩比。性能方面,TBN在ImageNet大规模图像分类任务上的Top-1准确率超过XNOR-Network算法高达5.5%,而STBN的分类准确率在ImageNet数据集上超过所有的1比特量化方法,T2N的分类准确率也超过所有的权重1比特量化且输入2比特量化的方法。总之,本文提出的量化方法能够在保证性能的情况下大幅加速和压缩卷积神经网络,有助于推进模型在资源受限的设备上运行。