论文部分内容阅读
人工神经网络的硬件实现一直是研究人工智能,专家系统等方向的重要课题。它是通过一种大规模并行分布式系统模拟人工神经网络的功能,在非结构化信息处理方面比现有的计算机系统具有明显的优势。但是这种大规模并行分布式系统网络连线复杂,若采用传统的多比特数字电路实现困难,而本文提出的基于∑-Δ调制的比特流人工神经网络(SigmaDelta Bit-stream Neural Network,SDBNN)是解决这一难题的有效途径。一方面相对于传统数字信号处理系统,单比特信号的传递特征能够极大的减少人工神经元之间的物理连接,更适合超大规模集成电路(VLSI)的实现;另一方面∑-Δ技术中超高的调制精度也能够保证神经计算的准确性。而且SDBNN实现技术能够广泛应用于多种具体人工神经网络的构建中,是目前人工神经网络硬件实现研究领域的热点之一。 本文对∑-Δ调制技术和人工神经网络硬件实现技术进行了深入研究,设计了基于∑-Δ调制的人工神经网络中的主要运算单元(包括加法器,乘法器以及多种激活函数单元),并以此构建了线性/非线性多层前馈网络、反馈型Hopfield网络以及径向基函数网络。同时通过这些不同结构的网络系统,实现了非线性分类、函数逼近以及文字识别等功能。论文主要内容包括: (1)为了构建基本人工神经元,分析了多种基于∑-Δ调制的加法器结构、乘法器结构,比较了其优缺点,优化了其中部分运算单元,提高了它们的运算速度,并降低了硬件资源消耗。同时进一步分析运算单元的电路特性,设计了基于∑-Δ调制的L级平均乘法器芯片。在IC设计过程中,优化了其电路结构,运用源极耦合技术设计和多级流水线结构提高了其运算速度。流片测试结果表明,该乘法器可以工作在4GHz时钟频率下。 (2)为了实现人工神经网络的非线性,提出基于∑-Δ调制的非线性类Sigmoid激活函数单元(Sigma-Delta Sigmoid-like Function Activation Unit)的硬件实现方法。这种实现方法是通过不同反馈系数的限幅放大器的线性组合,完成对Sigmoid函数的逼近。将此激活函数单元应用至隐含层神经元中,可在FPGA上构建实现比特流多层BP网络。这种基于∑-Δ调制的比特流BP网络同样能够实现逻辑异或、非线性区域分类、以及函数逼近等功能。同时还设计完成了基于反向传播算法的在片训练系统,该在片训练系统能够通过自我反馈学习训练并完成非线性逻辑异或判定。 (3)提出基于∑-Δ调制的类立方根激活函数单元(Sigma-Delta Cubic-like FunctionActivation Unit)的硬件实现方法,并以此为基础在FPGA上实现了比特流非线性BP网络。分析立方根激活函数运算模块的具体原理,以及延时单元在优化计算精度中所起到的作用。通过实例验证得出,以类立方根激活函数构建的多层BP网络虽然硬件消耗较大,但是其输出平面较Sigmoid激活函数更加陡峭,同样能够实现非线性判断。 (4)研究了∑-Δ调制技术在反馈Hopfield网络中的应用,并在FPGA上构建实现了此类网络系统。运用Hebb训练算法和同步扰动算法分别实现普通联想记忆和强制记忆功能,并根据同步扰动算法实现了在片训练系统。实验结果表明该在片训练系统训练过程中权值收敛,误差降低,最终能够实现字母间的强制记忆。同时本文还通过逻辑综合和布局布线设计了普通12神经元Hopfield网络芯片。 (5)提出了基于∑-Δ调制的类Gauss函数计算单元(Sigma-Delta Gauss-Like FunctionActivation Unit,SDGAU)的结构,并通过这种结构利用较少的硬件资源实现了精度较高的运算电路。结合2-范数运算单元在FPGA上设计出径向基函数模块和基于∑-Δ调制的比特流径向基函数网络。同时通过中心固定算法计算出径向基函数网络输出层权值,并以函数逼近为实例验证了网络功能。结果表明径向基函数网络虽然消耗资源比多层BP网络较多,但是它能够更好的实现函数逼近功能。 多层面的研究表明将基于∑-Δ调制的数字信号处理技术和人工神经网络硬件实现技术相结合,能够实现多种复杂人工神经网络,并有效地减少网络互联及资源消耗。通过实例表明,该方法具有很高的研究价值和广泛的应用前景。