论文部分内容阅读
【摘 要】目前国内多数红外、可见图像实时跟踪系统采用PC机或DSP或DSP+FPGA为核心处理器的构架，存在电路复杂、成本高的缺点。本文设计了以FPGA内双MicroBlaze软核为核心的红外、可见图像双光图像实时采集处理系统，采用利用FPGA硬件逻辑实现图像采集和预处理，利用双软核实现对红外图像非均匀校正处理和可见图像的跟踪捕获，软硬件协同处理，实验结果表明，系统体积小、功耗低、实时性强，在各种复杂的场景下，能够实时稳定地进行双光图像采集并处理图像。
【关键词】 FPGA;软硬件协同;红外和可见图像实时处理
引言
红外、可见双光采集处理系统对实时性要求极高，要求系统必须具有并行快速处理大量数据的能力，以保证系统的实时性;其次对系统的体积、功耗、稳定性等也有较严格的要求。本系统利用FPGA的逻辑部分实现图像采集和拼接，利用FPGA内的双MicroBlaze实现对红外探测器的非均匀校正算法和可见图像的跟踪捕获，降低了成本，有效提高了资源利用率，并提高了系统复杂背景条件下目标跟踪的稳定性。
1.红外图像采集系统硬件总体方案
（1）如图1所示的红外、可见光双光图像采集处理系统，以FPGA为核心处理器，红外、可见光SENSOR对进行控制，红外探测器输出的模拟视频信号经差分放大器放大，然后采用AD9240为AD转换器件进行AD转换，送入FPGA的逻辑部分进行图像预处理，可见光图像可以直接用FPGA的逻辑部分进行采集控制，然后用两个Microblaze核做红外探测器的校正流程控制和可见光的图像处理。
（2）双MicroBlaze SOPC系统结构硬件设计实现。①双核硬件结构。FPGA将采集到的红外图像进行排序，进行帧累加乘加系数等逻辑操作，FPGA内的两个MicroBlaze软核，分别负责红外探测器的非均匀校正流程任务控制和可见光图像显示调整和跟踪捕获处理。MicroBlaze SOPC系统结构图如图2所示。从图中可知，整个SOPC系统可以分为两个处理器子系统，系统的通信结构采用两个PLB（Processor Local Bus）v46总线，所有的模块都是间接或直接地连接到这两个总线上。两个总线上均挂有Mailbox和Mutex核用于处理器间通信和同步，因此两个处理器并不是完全独立的。
如图2所示本SOPC系统中的两个MicroBlaze处理器软核，通过各自独立的PLBv46总线隔离两处理器子系统，可以确保两个处理器系统在执行各自的处理器事务时不会相互干扰。两个软核之间存在多个共享模块，采用多端口结构使多个处理器在访问共享模块时可以并行进行。两个独立的MicroBlaze处理器Mb_0和Mb_1，通过共享部件连接在一起，这些共享部件使得两个MicroBlaze处理器之间可以各种方式通信并进行数据共享。②双核交互通信与数据共享。本系统采用Mailbox和Shared Memory进行处理器之间的交互通信与数据共享。通过Mailbox可以实现处理器之间的中断和通信，完成非均匀校正流程任务控制。每一个Mailbox核都有一个FIFO和一个双端队列，分别用来发送和接收信息，可以根据需要对它们的深度进行配置，主要通过分布式RAM或者BRAM来实现。两处理器首先通过Mailbox交换字符串“55、AA”的形式汇合，以此来证明两个处理器的连接情况，同时利用Mutex来防止两个处理器同时对同一地址区域进行写操作，临界区域里的值是随着处理器的访问而更新，在没有输出时处理器会锁定Mutex核，有输出时解锁Mutex核，这种同步机制使得处理结果正确可用，不会出现混乱的状态。另外本设计两个处理器利用Shared Memory来共享某个存储器，从而实现存储器共享图像处理结果并方便进行大量数据的通信和数据共享。在本设计的处理器系统中，每一个处理器都有自己独立的系统总线，MPMC存储器和外围设备是统一编址，两者的地址范围互不重叠，因此，所有的存储器和直接或者间接连接到处理器上的外围设备与共享元素都是分开的，避免了内存错乱现象。
2.双核系统处理实验结果
在实验调试时，本系统采用调试模块MDM分别对两个处理器进行调试，通过超级终端输出实验测试结果。系统利用双核来分别实现红外探测器的非均匀校正计算和可见光的显示调整和跟踪捕获处理，利用shared Memory来共享图像细节和处理结果，从而更容易实现对目标的识别捕获与跟踪，经实验测试系统完成后可同时实时处理640×512大小的红外、可见图像，完成非均匀校正等图像处理并进行目标捕获和跟踪，速度达到100帧每秒，资源得到高效利用。
3.结语
本系统利用FPGA作为平台，以其内的双MicroBlaze软核为基础，来设计双软核片上系统，实现了同时对红外探测器、可见光SENSOR的控制和图像采集处理，并可以很好地实现两软核处理器间的通信和中断功能，节约了硬件成本又可方便协同控制，具有一定创新性和较高的实用价值。
参考文献
[1]冯亚楠.基于SOPC的嵌入式系统架构及应用验证[D].内蒙古大學，2014.
[2]陈科研.基于Nios Ⅱ的双核处理器系统研发[D].西安电子科技大学，2009.
【关键词】 FPGA;软硬件协同;红外和可见图像实时处理
引言
红外、可见双光采集处理系统对实时性要求极高，要求系统必须具有并行快速处理大量数据的能力，以保证系统的实时性;其次对系统的体积、功耗、稳定性等也有较严格的要求。本系统利用FPGA的逻辑部分实现图像采集和拼接，利用FPGA内的双MicroBlaze实现对红外探测器的非均匀校正算法和可见图像的跟踪捕获，降低了成本，有效提高了资源利用率，并提高了系统复杂背景条件下目标跟踪的稳定性。
1.红外图像采集系统硬件总体方案
（1）如图1所示的红外、可见光双光图像采集处理系统，以FPGA为核心处理器，红外、可见光SENSOR对进行控制，红外探测器输出的模拟视频信号经差分放大器放大，然后采用AD9240为AD转换器件进行AD转换，送入FPGA的逻辑部分进行图像预处理，可见光图像可以直接用FPGA的逻辑部分进行采集控制，然后用两个Microblaze核做红外探测器的校正流程控制和可见光的图像处理。
（2）双MicroBlaze SOPC系统结构硬件设计实现。①双核硬件结构。FPGA将采集到的红外图像进行排序，进行帧累加乘加系数等逻辑操作，FPGA内的两个MicroBlaze软核，分别负责红外探测器的非均匀校正流程任务控制和可见光图像显示调整和跟踪捕获处理。MicroBlaze SOPC系统结构图如图2所示。从图中可知，整个SOPC系统可以分为两个处理器子系统，系统的通信结构采用两个PLB（Processor Local Bus）v46总线，所有的模块都是间接或直接地连接到这两个总线上。两个总线上均挂有Mailbox和Mutex核用于处理器间通信和同步，因此两个处理器并不是完全独立的。
如图2所示本SOPC系统中的两个MicroBlaze处理器软核，通过各自独立的PLBv46总线隔离两处理器子系统，可以确保两个处理器系统在执行各自的处理器事务时不会相互干扰。两个软核之间存在多个共享模块，采用多端口结构使多个处理器在访问共享模块时可以并行进行。两个独立的MicroBlaze处理器Mb_0和Mb_1，通过共享部件连接在一起，这些共享部件使得两个MicroBlaze处理器之间可以各种方式通信并进行数据共享。②双核交互通信与数据共享。本系统采用Mailbox和Shared Memory进行处理器之间的交互通信与数据共享。通过Mailbox可以实现处理器之间的中断和通信，完成非均匀校正流程任务控制。每一个Mailbox核都有一个FIFO和一个双端队列，分别用来发送和接收信息，可以根据需要对它们的深度进行配置，主要通过分布式RAM或者BRAM来实现。两处理器首先通过Mailbox交换字符串“55、AA”的形式汇合，以此来证明两个处理器的连接情况，同时利用Mutex来防止两个处理器同时对同一地址区域进行写操作，临界区域里的值是随着处理器的访问而更新，在没有输出时处理器会锁定Mutex核，有输出时解锁Mutex核，这种同步机制使得处理结果正确可用，不会出现混乱的状态。另外本设计两个处理器利用Shared Memory来共享某个存储器，从而实现存储器共享图像处理结果并方便进行大量数据的通信和数据共享。在本设计的处理器系统中，每一个处理器都有自己独立的系统总线，MPMC存储器和外围设备是统一编址，两者的地址范围互不重叠，因此，所有的存储器和直接或者间接连接到处理器上的外围设备与共享元素都是分开的，避免了内存错乱现象。
2.双核系统处理实验结果
在实验调试时，本系统采用调试模块MDM分别对两个处理器进行调试，通过超级终端输出实验测试结果。系统利用双核来分别实现红外探测器的非均匀校正计算和可见光的显示调整和跟踪捕获处理，利用shared Memory来共享图像细节和处理结果，从而更容易实现对目标的识别捕获与跟踪，经实验测试系统完成后可同时实时处理640×512大小的红外、可见图像，完成非均匀校正等图像处理并进行目标捕获和跟踪，速度达到100帧每秒，资源得到高效利用。
3.结语
本系统利用FPGA作为平台，以其内的双MicroBlaze软核为基础，来设计双软核片上系统，实现了同时对红外探测器、可见光SENSOR的控制和图像采集处理，并可以很好地实现两软核处理器间的通信和中断功能，节约了硬件成本又可方便协同控制，具有一定创新性和较高的实用价值。
参考文献
[1]冯亚楠.基于SOPC的嵌入式系统架构及应用验证[D].内蒙古大學，2014.
[2]陈科研.基于Nios Ⅱ的双核处理器系统研发[D].西安电子科技大学，2009.