在上世纪90年代,CMOS（Complementary Metal-Oxide Semiconductor）图像传感器数字相机问世,其便以高灵敏度、光谱响应范围大等优点逐步成为市场主流。传统的CMOS图像传感器往往存在动态范围不足的问题,会出现曝光过度和曝光不足。另外,其输出的图像往往会有比较高的噪声,可能无法满足显示设备高质量图像的输出要求。对于这些问题需要使用ISP（Image Signal Processor）图像信号处理器进行解决。在经过ISP处理的数字图像系统中,部分图像需要输出到高清接口如监视器、手机和电脑显示器等终端设备上,还有部分要用于图像识别与目标定位领域中,比如智能机器人、军事目标定位等。应用在ISP输出图像的识别算法里,CNN（Convolutional Neural Networks）即卷积神经网络使用最为广泛,该算法识别准确率高、定位精准,同时具有较高的实时性。所以,此算法成为了图像分类处理的首选方法。传统的ISP处理需要对图像传感器采集到的图像进行降噪、细节性增强、可见性提升等,但在计算机视觉领域中往往并不需要过多的细节处理和还原。本论文充分挖掘了其中的重要步骤,发现去马赛克和伽马变换对目标识别结果有着关键的影响。剖析这两步的算法原理,使用行缓存的方法设计了去马赛克算法的硬件电路,并用高效对数浮点数计算系统实现了任意伽马值的变换方法,比传统方法在面积等性能上实现了较大突破,从而完成高效的面向计算机视觉的ISP硬件电路设计。本文选取VGG（Visual Geometry Group）网络作为深度学习目标检测方案,使用GPU（Graphics Processing Unit）训练参数并导出,在ZYNQ平台上完成网络预测部分的硬件搭建。考虑片上BRAM资源和数据读取带宽,设计了数据块体结构来寄存特征数据与参数。并同时并行计算4通道数据,采用流水线方法完成乘加操作,从而设计出网络的卷积层和全连接层。对于池化层与Softmax层,分别依据算法特点提出对应的硬件优化方法。最终完成ISP—卷积神经网络联合系统设计。本文将所设计的ISP算法在MATLAB平台上进行仿真和误差分析,再使用Verilog语言进行硬件搭建,DC（Design Complier）和Vivado等工具用来对所设计的硬件电路综合与分析性能参数。分析神经网络算法,设计适用FPGA（Field Programmable Gate Array）部署的硬件模块,在ARM端将各个模块连通并使用AXI接口完成图像数据和各类的参数的传输,可以发现该联合系统得到相对理想的识别率的同时,比起传统方法效率有明显提升。