基于MPSoC的车载视频信息实时智能识别系统设计

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:bigtree16
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,每时每刻都有海量的视频数据在各种应用场景的监控系统中产生。尤其是自动驾驶领域的视频视觉系统,对延时小、实时性高,边缘计算能力强且具有独立硬件平台的车载智能摄像头终端的需求应运而生。然而现阶段下,车载智能摄像头终端的研究集中在软件算法,缺少独立开发的高性能硬件平台研发,且受限于硬件性能,处理延时较大,边缘化实现度较低。针对上述现状及项目需求,本文设计了一套针对道路交通自动驾驶系统的基于MPSo C的车载视频信息实时智能识别系统。该系统采集及处理多路超高清视频图像,检测、提取和识别视频中特定目标,并可在本地显示屏显示超高清视频。系统以ZYNQ Ultrascale+MPSo C EV系列芯片为核心处理器,包含4路超高清图像传感器接口和1路HDMI 2.0超高清视频输出接口,板上片外存储颗粒有6片2400Mbps DDR4。本系统的硬件平台为自主设计的14层印制电路板。整板包括1159个电子元器件、3871个连接网络和18路电源,其中包括20对最高传输速率为1.2Gbps的MIPI-DPHY信号以及96根速率为2400Mbps的DDR4信号。在硬件设计阶段,整个系统受到来自SI、PI以及EMC的挑战。本设计通过理论计算及软件仿真等方式,严格控制阻抗、合理布局布线,顺利解决上述问题。基于本文硬件平台,自主设计实现了一套车载交通标志实时识别系统,包括FPGA可编程逻辑、ARM处理两部分,分别使用Verilog HDL、C语言进行开发。FPGA程序设计实现超高清视频数据接收与解码、视频高速片外缓存、目标检测和识别、本地超高清视频显示等功能;ARM作为协处理器,提高系统可编程性,控制传感器工作模式,控制AXI总线及控制HDMI发送器软硬件工作模式。综上,本文设计的车载视频信息实时智能识别系统,实现本地软硬件协同处理工作。平台在边缘侧发起图像采集操作,在数据源头提供目标实时识别分析的应用程序服务。非控制类图像视频数据在边缘被实时处理,远端控制响应时间被缩短,消除因对路况信息反应不及时导致的交通安全隐患,具有一定的实用意义。
其他文献
中国是受台风影响最严重的国家之一。随着中国经济发展、社会资产和人口在沿海聚集,台风造成的经济损失逐渐升高。另一方面,气候变化导致台风活动特征发生改变,影响着台风灾害风险格局变化,这对应对台风灾害也提出了新的挑战。因此需要实现台风灾害客观定量化灾情评估,评估结果有助于制定防灾减灾政策,并对减少人民生命财产损失和确定灾害对国民经济发展制约作用有重要意义。目前中国台风灾情评估还有较大发展空间。传统灾情评
近年来,随着我国网络技术越发成熟,移动互联网技术得到了广泛的应用。移动互联网技术在发展过程中,给人们提供前所未有的便利。就当前的现状而言,移动互联网具有较好的发展前景,可紧跟时代发展的潮流,从中获得更大的发展平台。但在实际运营过程中,移动互联网依然存在一些不足之处,需要相关负责人进行完善。不仅如此,移动互联网在带给人们便利的同时也给人们的网上隐私留下了隐患。需要相关人员针对用户个人隐私问题进行有效
仿生扑翼形状具有很好的空气动力特性,对扑翼研究具有借鉴和推动作用。文中主要研究仿生蜻蜓扑翼飞行器的气动特性,为扑翼飞行器提供一定的参考作用,有利于扑翼飞行器的完善和优化。对飞行器的扑翼及机械传动机构进行设计,并建立运动模型。针对扑翼机的传动机构,建立简单的坐标系及数学模型,并进行理论推导,得知前后扑翼在一个扑动周期的每个时间点的位移量及速度函数,并对扑翼进行简单的静力试验。针对扑翼展开了空气动力试
大气水汽作为降水的前体物质参与水循环过程,其氢氧同位素组成随环境条件的改变发生相应的变化,记录了相应的环境特征,因此可以用来示踪水汽来源,物质输送。同时,大气汞由于较强的挥发性,具有长距离传输的特点,研究大气汞及其沉降对于分析区域大气汞污染现状及汞污染来源,证明区域物质来源、输送也具有重要意义。本文收集了上海地区大气水汽(2020.06~2020.12)、降水样品(2016.008~2020.12
学位
低成本、高集成度的CMOS毫米波雷达因其探测范围广、抗干扰性强、高分辨率等优点得到广泛应用。自动驾驶需要毫米波雷达实现长、中、短距离目标的探测。77 GHz雷达因其更大的扫频带宽具备更精确的距离分辨率,可实现自适应巡航中精准、实时的碰撞预警,但77 GHz高频晶体管性能恶化且路径衰减严重,采用相控阵技术有效提升了雷达最远探测距离。车道偏移预警、自动泊车等自动驾驶技术需要毫米波雷达实现近距离目标探测
柔性有机薄膜晶体管(Organic Thin Film Transistors,OTFTs)通常制备温度低,工艺简单,在柔性显示、传感器、电子标签等领域受到广泛关注。传统的OTFTs器件电极常采用磁控溅射法、热蒸镀法等工艺制备,存在电极与衬底之间黏附性差、成本高等问题。开发高性能、低成本、易集成的柔性电极及其相关器件制备技术具有重要的学术价值和实用价值。本文以聚酰亚胺(Polyimide,PI)薄
弹道导弹在发射后会经过助推段、中段和再入段三个过程,其中中段过程所占时间最长且离地面距离最远,是探测和识别弹道导弹的最佳时机。针对中段目标识别的研究以及几何特征反演的研究是弹道导弹防御系统中最重要的一部分,对国家军事防御有着重要意义。本文针对中段目标的二维ISAR图像和一维时域电场回波,分别设计了卷积神经网络(CNN)和长短时记忆神经网络(LSTM)对目标进行识别;在对目标进行成功识别之后,本文接
遥感技术作为非接触式大尺度的观测方法,对监测土地覆盖变化起到了有效作用。土地覆盖变化被认为是引起全球环境改变的原因之一,故研究土地覆盖变化状况现已引起专家学者的广泛关注。地物分类作为遥感影像分析的基础,在遥感科学与应用领域中具有重要意义。其中,支持向量机(SVM)在地物分类任务中表现出优越的性能。但由于SVM模型在进行分类时无法确定最优参数组合,一定程度上会影响地物分类结果的准确性。本文以中国崇明
欺诈是健康保险道德风险的一种极端表现形式。国内外大量经验事实表明,健康保险欺诈破坏了医疗费用融资过程中的公平与效率,阻碍了保险行业发展。本文首先针对健康保险道德风险构建了欺诈影响因子的理论模型,并在此基础上使用我国商业健康保险数据,运用多种形式的实证模型发掘出医院资质、医疗总花费、被保险人的续保年限等符合我国国情现实的健康保险欺诈影响因子。样本内和样本外检验结果表明,模型可以正确识别80%以上的欺