论文部分内容阅读
随着深度学习的发展,尤其是在图像处理方面长足进步,越来越多的领域可以使用基于深度学习的方法来提高产品质量和工作效率。在动画制作领域,人工画图一直是制约产出速度的最大的因素,基于三维模型渲染的动画虽能极大地提高制作速度,但笔触的变化和线条的流畅性一直无法达到人类画师的水准,所以需要一种可以模仿人工笔触和上色的非真实感渲染方法提高效率;随着集成电路的快速发展,印刷电路板的需求愈发高涨,印刷电路板元件纠错方法领域,针对插装式元件的检测一直以来都是靠人工目视逐一核对来进行,在密集的元器件面前这项工作枯燥且易错,一个自动化元器件检测方法亟需提出;特发性震颤(ET)是一种常见疾病,其诊断过程极度依赖经验丰富医生的主观判断,且诊断结果缺乏定量数据的支撑,所以一种可以方便地检测特发性震颤病人运动学数据并自动进行客观评级的方法是非常必要的。本文在对深度学习研究的基础上,为上述三个问题提出了针对性的解决方案。与此同时,针对部分任务的特点提出新的网络结构,并采集和标注了大量数据来训练相应的网络。本文研究内容如下:针对三维渲染中存在的线条生硬问题,提出了一种基于pix2pix和多尺度判别器的线稿风格迁移网络,通过对辨别器的修改使其可以生成细节更符合手绘风格的线稿图像,并针对无可用数据集问题,提出了基于Zhang-suen线条细化算法的对称线稿数据生成方法解决了无对称数据集问题,实现由手绘稿直接生成对应的三维渲染风格线条。还使用一个基于两阶段的生成模型实现了线稿自动着色和可控着色。针对集成电路元件检测问题,提出了一套基于文字检测和文字识别的元器件型号识别方法。使用基于EAST的自然场景文字检测算法作为前置网络,提取文字边界框,结合基于卷积神经网络和循环神经网络的CRNN算法识别具体文字内容。通过收集标注大量数据训练网络来使其适应业务场景,取得了较好的效果。针对特发性震颤的临床诊断,提出了一种基于人体姿态估计的自动诊断和辅助诊断方法,通过在临床中收集的评估视频来计算特发性震颤患者震颤特征,以此估计病情评级和生成辅助诊断信息。提出以Open Pose为基础框架,辅以LSTM模块来利用时间域信息的视频姿态估计方法,实现稳定的视频人体姿态估计来以获取运动轨迹。为了进一步提高关节位置的估计精度,根据姿态估计结果和人体先验,确定出关节兴趣区域,同时训练了一个基于CPM的深度卷积神经网络来估计兴趣区域中关节中心的位置以进一步提高估计精度。从视频中提取运动轨迹后,将轨迹信号经过带通滤波,然后计算轨迹信号的上下包络面以计算振幅,并使用小波变换计算震颤频率。最后根据频率与振幅,参考特发性震颤评级量表(CRST)对患者病情进行评级,同时频率与振幅也用来生成辅助信息来给医生的临床诊断提供参考。实验表明自动评级结果与临床诊断结果有较强的相关性(r=0.84),同时临床诊断实验显示辅助信息可以再多个方面对医生的诊断提供帮助,且可以提升诊断的稳定性。