机器视觉(YOLO)下的ISP架构优化研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:hailongsky
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习的日趋进步,使得计算视觉的发展也不断突破。目标识别也已经在各个领域得到了广泛的应用。在提升效率的研究中,算法层面和硬件加速层面都有了极大的发展。然而对于前端图像获取处理部分的关注都比较少。通常来说图像传感器和图像信号处理(Image Signal Processing,ISP)系统是所有摄影设备中最耗能的组件,这部分的优化也能在整体上产生裨益。并且实际上机器视觉识别算法的准确度与图像的感知质量关联并不紧密。鉴于以上情况,本文从计算机视觉的角度对ISP进行架构优化的研究,通过对ISP的功能进行逐模块的拆解分析,研究不同质量的图像即所代表的各模块对目标识别准确率的影响,从而实现对ISP架构的优化。依据研究方向,本文首先提出了一条符合当前所有ISP设计基本原则的ISP流程。其次,为了更客观的模拟图像处理效果,本文以传感器输出的原始RAW格式图像作为实验对象。但是由于RAW格式数据集都是非公开的,所以本文首先对最终用于目标识别的数据集进行逆操作,将其恢复至RAW格式。在实验中为了明确图像处理各模块的影响,本文对各模块采取单独启用与单独禁用的方式,根据设计的测试方案使用目标识别算法进行测试。通过将各方案的测试结果与原图测试结果相比较,推断各模块对于目标识别算法的影响率。本文的测试部分采用YOLOv3算法。根据YOLOv3的识别效率参数平均精度(Mean Average Precision,m AP)和交并比(Intersection of Union,Io U),界定识别效果。同时本文还提出了对图像进行下采样,判断图像在将分辨率降低至固定级别时的目标识别的准确率,更好的提升场景适应性。实验结果表明,就图像处理过程的目标识别来说,颜色插值与色调映射对原图识别率影响最大。其中,仅颜色插值单一处理的识别可达原图识别率的79.28%;仅色调映射单一处理的识别可达原图识别率的60%;若兼顾颜色插值与色调映射同时响应的话,原图识别率可达90%以上。就下采样来说,原图在由8bits下采样至4bits及以前能达到原图95%以上的效果,仅同时启用颜色插值与色调映射的图像下采样至4bits及以前能达到85%以上的效果。
其他文献
在计算机视觉领域显著性检测是很受关注的一个研究方向,通过显著性检测算法可以得到图像的显著图,显著图中标注了原图像中每一个像素的显著值,显著值代表对应像素的显著程度,相关算法能通过显著图快速识别图像的显著区域,因此显著图可以应用在图像压缩,场景分类,图像检索等诸多领域,用以降低相关算法的计算量。传统的显著性检测算法曾通过计算图像的全局对比度或者局部对比度来获取显著图,这类算法往往会与图像的背景先验知
随着现代社会对科研投入的日益增加,每年产生的论文数量越来越多,但英文论文写作对于非英文母语者是一件十分困难的事。写作者不仅需要清晰明确地表达实验过程与结果,还得正确地使用英文词汇进行论述。而近年来,自然语言生成技术发展迅速,在理论和实际应用上都取得了长足进步。因此,本文研究将成熟的自然语言生成技术应用于英文论文写作中,致力于提高写作效率。本文首先对系统的实现过程中存在问题进行分析,并介绍了解决问题
椭圆是现实世界最常见的形状之一,因此椭圆检测算法是现代计算机视觉应用程序的重要组成部分。椭圆检测算法已经被广泛应用于细胞检测,工件检测,交通标志检测,机器人平台对象跟踪等领域。到目前为止,人们还没有提出一种能够高效准确地检测小椭圆,扁椭圆,嵌套椭圆的算法。现有椭圆检测方法分为传统椭圆检测方法和基于深度学习的椭圆检测方法。传统方法以椭圆边缘点为核心进行椭圆检测,但是小椭圆的像素比较少,属于不同嵌套椭
随着机器视觉技术的快速发展,CMOS图像传感器以及图像采集系统的应用变得越来越重要。目前,CMOS图像传感器正朝着高分辨率、高帧率以及高动态范围的方向发展。其中,高动态范围图像将多张曝光时间不同的图像信息通过算法合成为一张高动态的图像,使得获取的图像可以保留更多的细节信息,所以研究高动态范围的图像获取有着很重要的现实意义。本论文使用FPGA芯片作为核心控制器向CMOS图像传感器发送时序控制信号来控
医学知识库在现代生物医学领域的作用越来越重要,在大数据时代可以从知识库中发掘出更多隐含知识,服务于智慧医疗等领域。特别是神经退行性疾病,传统模式的新药研发、治疗模式已陷入瓶颈期,从海量生物医学文献中识别相关实体,并利用深度学习、关系抽取、自然语言处理等技术构建各实体和关系的神经退行性疾病知识库,能够辅助药物研究员进行新药研发,疾病机理研究和防治策略等,对生物医学领域的研究具有现实的实用意义,其中高
偏远地区的医疗资源紧缺,很多早期病变很难被发现。宫颈癌是最常见的妇科恶性肿瘤之一,HPV疫苗是一种很好的预防手段,但是,HPV疫苗多在实验环境使用,且价格昂贵。现阶段宫颈癌筛查主要依靠人工阅片,但是宫颈细胞形态复杂造成专业人员稀缺,检测过程特别容易产生假阳性与假阴性的误诊,对阅片师的专业素养和工作强度均提出了很高要求。宫颈细胞的数量与尺寸可以作为宫颈癌检测的辅助手段,流式细胞术是标准的细胞检测手段
随着计算机计算能力的增强与大规模有监督图像和视频公共数据集的出现,深度学习在计算机视觉的各个领域(如语义分割、分类识别和目标检测等)都取得了令人瞩目的成绩,基于视频的人体动作识别也随之取得了高速发展。在现实生活中,无论是在智能监控还是在人机交互、医疗诊断等方面,基于视频的人体动作识别都有着广泛的应用前景与潜在的经济价值。然而,由于人体动作复杂、背景环境嘈杂、摄像机视角多变等因素,人体动作识别算法的
早在二十世纪七十年代,电磁频谱战的概念就被提出,如今经过五十年的发展,美国已研制出多种高功率电磁武器。前门耦合作为高功率电磁武器主要的毁伤途径,对于前端系统具有极大的威胁。由于天线本身就是接收并放大电磁信号的器件,因此避免高功率电磁能量通过前门耦合的途径进入系统内相对来说较为困难。随着现代电子信息系统对于电磁信号的灵敏度以及精度越来越高,这就决定了这些系统对于电磁能量的易感性,非常容易受到高能电磁
背景:支架材料与生物因子在不同条件下复合培养对软骨细胞功能的影响,是组织工程材料研究的热点。目的:探讨动态环境下透明质酸与国产多孔钽复合对大鼠软骨细胞功能的影响。方法:分离培养SD大鼠膝关节软骨细胞,分5组培养:A组单纯细胞静态培养;B组接种于国产钽片上静态培养;C组接种于国产钽片上,加入含透明质酸的培养基,静态培养;D组接种于国产钽片上,置于动态转瓶中(双向交替正反转,旋转角度为40°,40 r
航空科研领域的实力一直以来都是国家核心竞争力的典型代表。我国十分重视航空科研工作,也积极推动航天科研院所科研项目管理模式的改革与升级。航空领域的科研项目具有投入大、周期长和风险高等特性。航空科研院所亟需一个能契合需求的线上航空科研项目平台,从而用来减少人工成本,降低科研风险。本平台的设计与开发遵循了软件工程的相关思想,依次完成了需求分析、系统设计、编码实现以及系统测试等工作。系统开发之前,分析了当