基于∑-Δ调制比特流人工神经网络硬件实现技术研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:fulinbo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络的硬件实现一直是研究人工智能,专家系统等方向的重要课题。它是通过一种大规模并行分布式系统模拟人工神经网络的功能,在非结构化信息处理方面比现有的计算机系统具有明显的优势。但是这种大规模并行分布式系统网络连线复杂,若采用传统的多比特数字电路实现困难,而本文提出的基于∑-Δ调制的比特流人工神经网络(SigmaDelta Bit-stream Neural Network,SDBNN)是解决这一难题的有效途径。一方面相对于传统数字信号处理系统,单比特信号的传递特征能够极大的减少人工神经元之间的物理连接,更适合超大规模集成电路(VLSI)的实现;另一方面∑-Δ技术中超高的调制精度也能够保证神经计算的准确性。而且SDBNN实现技术能够广泛应用于多种具体人工神经网络的构建中,是目前人工神经网络硬件实现研究领域的热点之一。  本文对∑-Δ调制技术和人工神经网络硬件实现技术进行了深入研究,设计了基于∑-Δ调制的人工神经网络中的主要运算单元(包括加法器,乘法器以及多种激活函数单元),并以此构建了线性/非线性多层前馈网络、反馈型Hopfield网络以及径向基函数网络。同时通过这些不同结构的网络系统,实现了非线性分类、函数逼近以及文字识别等功能。论文主要内容包括:  (1)为了构建基本人工神经元,分析了多种基于∑-Δ调制的加法器结构、乘法器结构,比较了其优缺点,优化了其中部分运算单元,提高了它们的运算速度,并降低了硬件资源消耗。同时进一步分析运算单元的电路特性,设计了基于∑-Δ调制的L级平均乘法器芯片。在IC设计过程中,优化了其电路结构,运用源极耦合技术设计和多级流水线结构提高了其运算速度。流片测试结果表明,该乘法器可以工作在4GHz时钟频率下。  (2)为了实现人工神经网络的非线性,提出基于∑-Δ调制的非线性类Sigmoid激活函数单元(Sigma-Delta Sigmoid-like Function Activation Unit)的硬件实现方法。这种实现方法是通过不同反馈系数的限幅放大器的线性组合,完成对Sigmoid函数的逼近。将此激活函数单元应用至隐含层神经元中,可在FPGA上构建实现比特流多层BP网络。这种基于∑-Δ调制的比特流BP网络同样能够实现逻辑异或、非线性区域分类、以及函数逼近等功能。同时还设计完成了基于反向传播算法的在片训练系统,该在片训练系统能够通过自我反馈学习训练并完成非线性逻辑异或判定。  (3)提出基于∑-Δ调制的类立方根激活函数单元(Sigma-Delta Cubic-like FunctionActivation Unit)的硬件实现方法,并以此为基础在FPGA上实现了比特流非线性BP网络。分析立方根激活函数运算模块的具体原理,以及延时单元在优化计算精度中所起到的作用。通过实例验证得出,以类立方根激活函数构建的多层BP网络虽然硬件消耗较大,但是其输出平面较Sigmoid激活函数更加陡峭,同样能够实现非线性判断。  (4)研究了∑-Δ调制技术在反馈Hopfield网络中的应用,并在FPGA上构建实现了此类网络系统。运用Hebb训练算法和同步扰动算法分别实现普通联想记忆和强制记忆功能,并根据同步扰动算法实现了在片训练系统。实验结果表明该在片训练系统训练过程中权值收敛,误差降低,最终能够实现字母间的强制记忆。同时本文还通过逻辑综合和布局布线设计了普通12神经元Hopfield网络芯片。  (5)提出了基于∑-Δ调制的类Gauss函数计算单元(Sigma-Delta Gauss-Like FunctionActivation Unit,SDGAU)的结构,并通过这种结构利用较少的硬件资源实现了精度较高的运算电路。结合2-范数运算单元在FPGA上设计出径向基函数模块和基于∑-Δ调制的比特流径向基函数网络。同时通过中心固定算法计算出径向基函数网络输出层权值,并以函数逼近为实例验证了网络功能。结果表明径向基函数网络虽然消耗资源比多层BP网络较多,但是它能够更好的实现函数逼近功能。  多层面的研究表明将基于∑-Δ调制的数字信号处理技术和人工神经网络硬件实现技术相结合,能够实现多种复杂人工神经网络,并有效地减少网络互联及资源消耗。通过实例表明,该方法具有很高的研究价值和广泛的应用前景。
其他文献
有太多的人去西藏将目标锁定拉萨,然而感受西藏的迷人之处又岂是拉萨一城.来到西藏,不去林芝是遗憾,来到林芝,不去看一看南迦巴瓦峰更是遗憾.rn《中国国家地理》杂志曾评选南
期刊
随着平板电视和3D显示技术的发展和普及,人们的观看行为也在发生变化。本课题首先对中国家庭的观看行为进行研究讨论;然后基于脸部识别系统,对观看2D和3D视频时人们的观看行为
核潜艇是国家利器,是海军最为神秘的武器之一,因而备受世人的关注。随着我国军事装备的更加透明化,中国核潜艇今年终于揭开了它神秘的面纱,展示其威武雄壮的身躯。如何让作为
锥栗是南亚热带常绿阔叶林的重要优势种之一,对维持该地区森林群落的生物多样性和结构稳定起了关键作用。本文结合微卫星分子标记和空间数据分析,选取鼎湖山大样地内地形差异明
转移是乳腺癌致死的主要原因。淋巴转移,作为血道和淋巴两大转移途径之一,在乳腺癌转移过程中至关重要。针对乳腺癌转移的特点,我们设计了具有淋巴富集特性的纳米载药系统,以及以
计算机三维图像模型在各行各业得到了广泛的应用。光度立体法作为三维立体重构最方便易行的一种方法,已经不仅仅应用于大型场景的构建,正在涉足微纳尺度领域的观察。本课题涉及
当钙离子成为最普遍最重要的胞内信使之一时,调控钙离子释放通道的蛋白也受到了人们极大的关注。内质网蛋白44(ERp44)为近年发现的一种与ER应激相关、且能够在ER内部调控细胞
新课改下的初中物理课堂教学,虽然很多教师都采取了各种各样的教学方式,然而还很难脱离依赖课本,很难将教学内容与生活实际进行有机结合。这就使得物理课堂上的学生个性难以得到
上转换发光材料被广泛应用于激光、立体三维显示、波导、调温、成像、防伪、温度传感器等众多领域。提高上转换发光效率是上转换发光材料得以进一步应用的关键。三价稀土离子
生命探测雷达需对微弱低速运动目标回波进行信号处理和识别。由于信杂比低,生命信号完全淹没在强背景杂波中,并且生命信号的频谱与杂波频谱重叠,所以微弱低速运动目标信号处理是